word2vec 究竟学到了什么？BAIR 给出闭式学习理论

BAIR 新论文证明，在若干温和近似下 word2vec 的学习问题可化简为无权重最小二乘矩阵分解，梯度流动力学有闭式解，最终学到的表示就是 PCA。从小初始化训练时，word2vec 按离散步骤逐个学习正交线性子空间，每步提升嵌入矩阵的秩并降低损失，这些特征即目标矩阵 M* 的顶部特征向量，可由语料统计与超参数预先算出。