本文共 910 字，大约阅读时间需要 3 分钟。

Paper:Linear Algebraic Structure of Word Senses, with Applications to Polysemy

词向量编码的相似性 相似的单词的词向量编码在欧几里得空间中的分布会彼此相邻：

如何表示多义词？

比如，tie在游戏比赛的平局；在衣服中的领带；或者表示一种扭曲的动作。

实际得到的tie的词向量是tie-1、tie-2、tie-3所有的线性叠加，映射到二维平面上处于中间：

如何复原每种词义？

采用一种稀疏编码的算法可以简单地解决这个问题。

其中，AiAi是每个词义项对应的上下文向量，αiαi是其权重，ηη是噪音项。

通过稀疏编码，可以将词义项恢复和区分：

观察输出项，可以看到有些与衣服有关，有些和运动有关。有趣的是，同时可以看到音乐类的输出。

如何进行评估？

找一群研究生，询问这些单词哪一个对应tie，然后与算法结果进行对比。

结果显示，这种算法的结果与调查的非本地研究生的结果差不多。以英语为母语的人在这项任务上做的更好。

总结

词向量可以捕捉多义性 词向量是多义向量的线性叠加 可以通过稀疏编码恢复多义向量，进行语境解释 这种恢复可以达到non-native English Speaker的水平 --------------------- 

个人理解笔记：

之前采用word2vec等方法可以得到词的编码（描述） 其中包含词的相似性等信息 有显示意义  。但接下的问题是  一词可以有多义   那么这种多义和我们得到的词向量有着怎样的联系  我们如何求得某种语境下的词向量呢

Linear Algebraic Structure of Word Senses, with Applications to Polysemy 这篇文章从一种角度描述了这种关系

此图中  tie是我们可以通过语料库 预训练得到的词向量 

其与义项的关系可以描述为

也就是一种线性表达   Ai就表示特定语境下的词向量表示  ai是权重   

现在要求解A  其实就是要找到一组基向量  使得其线性组合满足V

转换成一个数学上的稀疏编码问题

然后描绘图上  可以看到其在哪几种词分类中  也就表示有多少不同意思

 

转载地址：http://bxumi.baihongyu.com/