【UMASS博士论文】几何表示学习，162页pdf

向量嵌入模型是现代机器学习知识表示和推理方法的基石。这些方法旨在通过在低维向量空间中学习概念和其他领域对象的表示，将语义问题转化为几何问题。本着这种精神，这项工作提倡基于密度和区域的表示学习。将领域元素作为几何对象嵌入到单点之外，使我们能够自然地表示广度和一词多义，进行不对称比较，回答复杂的查询，并在标记数据稀缺时提供强烈的归纳偏见。我们提出了一个使用高斯密度的词表示模型，实现了概念之间的不对称隐含判断，以及一个基于轴对齐超矩形表示(盒)格的加权传递关系和多元离散数据的概率模型。我们将探讨这些嵌入方法在不同的稀疏性、边缘权值、相关性和独立结构的适用性，以及表示的扩展和不同的优化策略。我们从理论上研究了盒格的表示能力，并提出了扩展模型来解决在建模困难的分布和图方面的不足。