Many successful methods have been proposed for learning low dimensional representations on large-scale networks, while almost all existing methods are designed in inseparable processes, learning embeddings for entire networks even when only a small proportion of nodes are of interest. This leads to great inconvenience, especially on super-large or dynamic networks, where these methods become almost impossible to implement. In this paper, we formalize the problem of separated matrix factorization, based on which we elaborate a novel objective function that preserves both local and global information. We further propose SepNE, a simple and flexible network embedding algorithm which independently learns representations for different subsets of nodes in separated processes. By implementing separability, our algorithm reduces the redundant efforts to embed irrelevant nodes, yielding scalability to super-large networks, automatic implementation in distributed learning and further adaptations. We demonstrate the effectiveness of this approach on several real-world networks with different scales and subjects. With comparable accuracy, our approach significantly outperforms state-of-the-art baselines in running times on large networks.


翻译:在大型网络中,提出了许多成功的方法来学习低维度的表达方式,而几乎所有现有方法都是在不可分割的进程中设计的,学习整个网络的嵌入,即使只有一小部分节点值得关注。这导致极大的不便,特别是在超级大或动态网络中,这些方法几乎无法实施。在本文件中,我们正式确定了分离矩阵因子化问题,在此基础上,我们拟订了一个保存当地和全球信息的新的目标功能。我们进一步提议SepNe,这是一个简单而灵活的网络嵌入算法,它独立地学习不同节点子在分离过程中的表达方式。通过实施分离,我们的算法减少了将无关节点嵌入的冗余努力,使超大网络具有可扩缩性,在分布式学习和进一步调整中自动实施。我们用不同规模和主题来证明这个方法在几个真实世界网络中的有效性。我们的方法具有类似的准确性,大大超出大型网络运行时的先进基线。

3
下载
关闭预览

相关内容

网络嵌入旨在学习网络中节点的低维度潜在表示,所学习到的特征表示可以用作基于图的各种任务的特征,例如分类,聚类,链路预测和可视化。
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
24+阅读 · 2019年10月17日
开源书:PyTorch深度学习起步
专知会员服务
41+阅读 · 2019年10月11日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
334+阅读 · 2019年7月9日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
23+阅读 · 2019年1月4日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
29+阅读 · 2017年11月16日
Representation Learning on Network 网络表示学习
全球人工智能
8+阅读 · 2017年10月19日
【论文】图上的表示学习综述
机器学习研究会
10+阅读 · 2017年9月24日
Arxiv
4+阅读 · 2019年1月14日
dynnode2vec: Scalable Dynamic Network Embedding
Arxiv
11+阅读 · 2018年12月6日
Arxiv
10+阅读 · 2018年7月8日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
3+阅读 · 2018年2月19日
VIP会员
相关论文
Arxiv
4+阅读 · 2019年1月14日
dynnode2vec: Scalable Dynamic Network Embedding
Arxiv
11+阅读 · 2018年12月6日
Arxiv
10+阅读 · 2018年7月8日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
3+阅读 · 2018年2月19日
Top
微信扫码咨询专知VIP会员