Nickel and Kiela (2017) present a new method for embedding tree nodes in the Poincare ball, and suggest that these hyperbolic embeddings are far more effective than Euclidean embeddings at embedding nodes in large, hierarchically structured graphs like the WordNet nouns hypernymy tree. This is especially true in low dimensions (Nickel and Kiela, 2017, Table 1). In this work, we seek to reproduce their experiments on embedding and reconstructing the WordNet nouns hypernymy graph. Counter to what they report, we find that Euclidean embeddings are able to represent this tree at least as well as Poincare embeddings, when allowed at least 50 dimensions. We note that this does not diminish the significance of their work given the impressive performance of hyperbolic embeddings in very low-dimensional settings. However, given the wide influence of their work, our aim here is to present an updated and more accurate comparison between the Euclidean and hyperbolic embeddings.


翻译:Nickel and Kiela (2017年) 和 Kiela (2017年) 展示了一种将树结点嵌入Poincare 球中的新方法, 并表明这些双曲嵌入比Euclidean 嵌入在将节点嵌入大型、 分层结构的图形中( 如 WordNet nouns hynymy 树) 的效果要好得多。 这在低维度地区尤为如此( Nickel and Kiela, 2017年, 表 1)。 在这项工作中, 我们试图复制它们关于嵌入和重建WordNet nouns 超nymy 图形的实验。 与他们所报道的相反, 我们发现Euclidean 嵌入至少能代表这棵树, 以及 Poincare 嵌入至少50 维。 我们注意到, 鉴于超低维环境超低维度嵌入的超双曲嵌入效果, 这并没有降低它们的工作意义。 但是, 我们考虑到他们工作的广泛影响, 我们在这里的目的是对 Euclidean 和 和 sublicloception 进行更新和更准确的比较。

0
下载
关闭预览

相关内容

专知会员服务
65+阅读 · 2021年2月17日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
82+阅读 · 2020年6月21日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【直观详解】支持向量机SVM
机器学习研究会
18+阅读 · 2017年11月8日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Query Embedding on Hyper-relational Knowledge Graphs
Arxiv
4+阅读 · 2021年6月17日
Hyperbolic Graph Attention Network
Arxiv
6+阅读 · 2019年12月6日
Embedding Logical Queries on Knowledge Graphs
Arxiv
5+阅读 · 2018年9月6日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
7+阅读 · 2018年3月21日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【直观详解】支持向量机SVM
机器学习研究会
18+阅读 · 2017年11月8日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Top
微信扫码咨询专知VIP会员