【论文】图上的表示学习综述

2017 年 9 月 24 日 机器学习研究会
【论文】图上的表示学习综述


点击上方 “机器学习研究会”可以订阅


摘要
 

转自:the2

论文《Representation Learning on Graphs: Methods and Applications》摘要:

Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. The primary challenge in this domain is finding a way to represent, or encode, graph structure so that it can be easily exploited by machine learning models. Traditionally, machine learning approaches relied on user-defined heuristics to extract features encoding structural information about a graph (e.g., degree statistics or kernel functions). However, recent years have seen a surge in approaches that automatically learn to encode graph structure into low-dimensional embeddings, using techniques based on deep learning and nonlinear dimensionality reduction. Here we provide a conceptual review of key advancements in this area of representation learning on graphs, including matrix factorization-based methods, random-walk based algorithms, and graph convolutional networks. We review methods to embed individual nodes as well as approaches to embed entire (sub)graphs. In doing so, we develop a unified framework to describe these recent approaches, and we highlight a number of important applications and directions for future work.


链接:

https://arxiv.org/abs/1709.05584


原文链接:

https://m.weibo.cn/2536116592/4155504433859376

“完整内容”请点击【阅读原文】
↓↓↓



登录查看更多
9

相关内容

表示学习是通过利用训练数据来学习得到向量表示,这可以克服人工方法的局限性。 表示学习通常可分为两大类,无监督和有监督表示学习。大多数无监督表示学习方法利用自动编码器(如去噪自动编码器和稀疏自动编码器等)中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而,推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外,一些无监督表示学习方法旨在近似某种特定的相似性度量。提出了一种无监督的相似性保持表示学习框架,该框架使用矩阵分解来保持成对的DTW相似性。 通过学习保持DTW的shaplets,即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。有监督表示学习方法可以利用数据的标签信息,更好地捕获数据的语义结构。 孪生网络和三元组网络是目前两种比较流行的模型,它们的目标是最大化类别之间的距离并最小化了类别内部的距离。

Learning vector representations (aka. embeddings) of users and items lies at the core of modern recommender systems. Ranging from early matrix factorization to recently emerged deep learning based methods, existing efforts typically obtain a user's (or an item's) embedding by mapping from pre-existing features that describe the user (or the item), such as ID and attributes. We argue that an inherent drawback of such methods is that, the collaborative signal, which is latent in user-item interactions, is not encoded in the embedding process. As such, the resultant embeddings may not be sufficient to capture the collaborative filtering effect. In this work, we propose to integrate the user-item interactions --- more specifically the bipartite graph structure --- into the embedding process. We develop a new recommendation framework Neural Graph Collaborative Filtering (NGCF), which exploits the user-item graph structure by propagating embeddings on it. This leads to the expressive modeling of high-order connectivity in user-item graph, effectively injecting the collaborative signal into the embedding process in an explicit manner. We conduct extensive experiments on three public benchmarks, demonstrating significant improvements over several state-of-the-art models like HOP-Rec and Collaborative Memory Network. Further analysis verifies the importance of embedding propagation for learning better user and item representations, justifying the rationality and effectiveness of NGCF. Codes are available at https://github.com/xiangwang1223/neural_graph_collaborative_filtering.

0
8
下载
预览

In recent years, there has been an exponential growth in the number of complex documents and texts that require a deeper understanding of machine learning methods to be able to accurately classify texts in many applications. Many machine learning approaches have achieved surpassing results in natural language processing. The success of these learning algorithms relies on their capacity to understand complex models and non-linear relationships within data. However, finding suitable structures, architectures, and techniques for text classification is a challenge for researchers. In this paper, a brief overview of text classification algorithms is discussed. This overview covers different text feature extractions, dimensionality reduction methods, existing algorithms and techniques, and evaluations methods. Finally, the limitations of each technique and their application in the real-world problem are discussed.

0
4
下载
预览
小贴士
相关资讯
异常检测论文大列表:方法、应用、综述
专知
85+阅读 · 2019年7月15日
图数据表示学习综述论文
专知
35+阅读 · 2019年6月10日
无监督元学习表示学习
CreateAMind
21+阅读 · 2019年1月4日
vae 相关论文 表示学习 1
CreateAMind
11+阅读 · 2018年9月6日
【推荐】深度学习情感分析综述
机器学习研究会
54+阅读 · 2018年1月26日
【推荐】RNN最新研究进展综述
机器学习研究会
22+阅读 · 2018年1月6日
【论文】深度学习的数学解释
机器学习研究会
8+阅读 · 2017年12月15日
NIPS 2017:贝叶斯深度学习与深度贝叶斯学习(讲义+视频)
机器学习研究会
31+阅读 · 2017年12月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
24+阅读 · 2017年11月16日
相关VIP内容
专知会员服务
44+阅读 · 2020年3月19日
专知会员服务
47+阅读 · 2020年3月16日
专知会员服务
124+阅读 · 2020年3月10日
专知会员服务
99+阅读 · 2020年2月27日
专知会员服务
210+阅读 · 2020年1月1日
深度学习视频中多目标跟踪:论文综述
专知会员服务
65+阅读 · 2019年10月13日
强化学习最新教程,17页pdf
专知会员服务
74+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
45+阅读 · 2019年10月10日
相关论文
Boris Knyazev,Graham W. Taylor,Mohamed R. Amer
3+阅读 · 2019年10月28日
Xiang Wang,Xiangnan He,Meng Wang,Fuli Feng,Tat-Seng Chua
8+阅读 · 2019年5月20日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
4+阅读 · 2019年4月17日
Multimodal Deep Network Embedding with Integrated Structure and Attribute Information
Conghui Zheng,Li Pan,Peng Wu
4+阅读 · 2019年3月28日
Yao Quanming,Wang Mengshuo,Jair Escalante Hugo,Guyon Isabelle,Hu Yi-Qi,Li Yu-Feng,Tu Wei-Wei,Yang Qiang,Yu Yang
6+阅读 · 2018年10月31日
Víctor Gutiérrez-Basulto,Steven Schockaert
10+阅读 · 2018年5月26日
Qingyao Ai,Vahid Azizi,Xu Chen,Yongfeng Zhang
10+阅读 · 2018年5月9日
Yongfeng Zhang,Qingyao Ai,Xu Chen,Pengfei Wang
21+阅读 · 2018年3月22日
Yike Liu,Abhilash Dighe,Tara Safavi,Danai Koutra
4+阅读 · 2017年4月12日
Bryan Perozzi,Rami Al-Rfou,Steven Skiena
7+阅读 · 2014年6月27日
Top