如何理解词嵌入几何结构？【Edinburgh博士论文】对词和关系表示的理论理解，97页pdf

用向量或嵌入表示单词，可以进行计算推理，是自动完成自然语言任务的基础。例如，如果相似单词的单词嵌入包含相似的值，那么单词的相似度可以很容易地进行评估，而从它们的拼写来判断通常是不可能的(例如cat /猫科动物)，预先确定和存储所有单词之间的相似度是非常耗时的，记忆密集且主观的。我们专注于从文本语料库和知识图谱中学习单词嵌入。一些著名的算法通过学习预测每个单词周围出现的单词，在无监督的基础上从文本中学习单词嵌入，例如word2vec和GloVe。这种词嵌入的参数可以反映词共现统计数据，但它们如何捕捉语义还不清楚。知识图谱表示模型学习实体(词、人、地点等)的表示以及它们之间的关系，通常是通过训练模型以监督的方式预测已知事实。尽管预测的准确性在稳步提高，但人们对其潜在结构却知之甚少。

对于单词嵌入和知识图谱表示的几何结构如何编码潜在语义结构的理解有限，使得提高其性能、可靠性或可解释性的原则手段不明确。为了解决这个问题:

1. 通过word2vec和GloVe等算法学习的单词嵌入之间的特定几何关系对应于单词之间的语义关系，从理论上证明了经验观察的正确性;和

2. 我们将语义和几何之间的这种对应关系扩展到知识图谱的实体和关系，为知识图谱表示的潜在结构提供了一个模型，该模型与单词嵌入的模型相关联。