Hyperbolic spaces, which have the capacity to embed tree structures without distortion owing to their exponential volume growth, have recently been applied to machine learning to better capture the hierarchical nature of data. In this study, we generalize the fundamental components of neural networks in a single hyperbolic geometry model, namely, the Poincar\'e ball model. This novel methodology constructs a multinomial logistic regression, fully-connected layers, convolutional layers, and attention mechanisms under a unified mathematical interpretation, without increasing the parameters. Experiments show the superior parameter efficiency of our methods compared to conventional hyperbolic components, and stability and outperformance over their Euclidean counterparts.


翻译:超曲空间由于数量成倍增长,有能力嵌入树结构而不造成扭曲,这些空间最近被用于机器学习,以更好地捕捉数据的等级性质。在本研究中,我们将神经网络的基本组成部分归纳为单一的双曲几何模型,即Poincar\'e球模型。这种新颖方法在不增加参数的情况下,在统一的数学解释下构建了多音级后勤回归、完全相连的层层、交替层和关注机制。 实验显示,我们的方法比传统的超双曲元组件具有更高的参数效率,并且比欧洲对等系统具有稳定性和超效性能。

3
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
82+阅读 · 2020年6月21日
“CVPR 2020 接受论文列表 1470篇论文都在这了
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
计算机 | EMNLP 2019等国际会议信息6条
Call4Papers
18+阅读 · 2019年4月26日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
27+阅读 · 2020年6月19日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
9+阅读 · 2018年5月24日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
计算机 | EMNLP 2019等国际会议信息6条
Call4Papers
18+阅读 · 2019年4月26日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
27+阅读 · 2020年6月19日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
9+阅读 · 2018年5月24日
Arxiv
7+阅读 · 2018年1月10日
Top
微信扫码咨询专知VIP会员