Recent improvements in the performance of state-of-the-art (SOTA) methods for Graph Representational Learning (GRL) have come at the cost of significant computational resource requirements for training, e.g., for calculating gradients via backprop over many data epochs. Meanwhile, Singular Value Decomposition (SVD) can find closed-form solutions to convex problems, using merely a handful of epochs. In this paper, we make GRL more computationally tractable for those with modest hardware. We design a framework that computes SVD of \textit{implicitly} defined matrices, and apply this framework to several GRL tasks. For each task, we derive linear approximation of a SOTA model, where we design (expensive-to-store) matrix $\mathbf{M}$ and train the model, in closed-form, via SVD of $\mathbf{M}$, without calculating entries of $\mathbf{M}$. By converging to a unique point in one step, and without calculating gradients, our models show competitive empirical test performance over various graphs such as article citation and biological interaction networks. More importantly, SVD can initialize a deeper model, that is architected to be non-linear almost everywhere, though behaves linearly when its parameters reside on a hyperplane, onto which SVD initializes. The deeper model can then be fine-tuned within only a few epochs. Overall, our procedure trains hundreds of times faster than state-of-the-art methods, while competing on empirical test performance. We open-source our implementation at: https://github.com/samihaija/isvd


翻译:最新最先进的图表教学方法( SOTA) 的性能最近有所改善。 我们设计了一个框架, 计算出\ textit{ 模糊地} 定义的矩阵, 并将这个框架应用到数项 GRL 任务。 对于每一项任务, 我们从SONTA模型的线性近似上得出SOTA模型, 在那里我们设计( Excentive- to- storate) 矩阵 $\ mathf{M} (SVD) 来训练模型, 仅使用几个小节点。 在本文中, 我们使 GRL( SOT) 工具的性能更加可进行计算。 我们设计了一个框架, 计算出 $\ mathfef 的SVD 参数, 定义的SVD 定义矩阵的SVD, 并应用一个不独特的点, 以更高级的性能测试S- developmental 模式, 以更高级的性能显示我们更高级的性能 。

0
下载
关闭预览

相关内容

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,奇异值分解则是特征分解在任意矩阵上的推广。在信号处理、统计学等领域有重要应用。
图节点嵌入(Node Embeddings)概述,9页pdf
专知会员服务
39+阅读 · 2020年8月22日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Representation Learning on Network 网络表示学习
全球人工智能
10+阅读 · 2017年10月19日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Arxiv
9+阅读 · 2021年10月1日
Arxiv
35+阅读 · 2020年1月2日
Arxiv
6+阅读 · 2019年11月14日
Arxiv
4+阅读 · 2019年2月8日
Arxiv
3+阅读 · 2018年2月7日
Arxiv
8+阅读 · 2014年6月27日
VIP会员
相关资讯
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Representation Learning on Network 网络表示学习
全球人工智能
10+阅读 · 2017年10月19日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
相关论文
Arxiv
9+阅读 · 2021年10月1日
Arxiv
35+阅读 · 2020年1月2日
Arxiv
6+阅读 · 2019年11月14日
Arxiv
4+阅读 · 2019年2月8日
Arxiv
3+阅读 · 2018年2月7日
Arxiv
8+阅读 · 2014年6月27日
Top
微信扫码咨询专知VIP会员