Recently deep learning has been successfully applied to unsupervised active learning. However, current method attempts to learn a nonlinear transformation via an auto-encoder while ignoring the sample relation, leaving huge room to design more effective representation learning mechanisms for unsupervised active learning. In this paper, we propose a novel deep unsupervised Active Learning model via Learnable Graphs, named ALLG. ALLG benefits from learning optimal graph structures to acquire better sample representation and select representative samples. To make the learnt graph structure more stable and effective, we take into account $k$-nearest neighbor graph as a priori, and learn a relation propagation graph structure. We also incorporate shortcut connections among different layers, which can alleviate the well-known over-smoothing problem to some extent. To the best of our knowledge, this is the first attempt to leverage graph structure learning for unsupervised active learning. Extensive experiments performed on six datasets demonstrate the efficacy of our method.


翻译:最近深层次的学习被成功地应用于无人监督的积极学习。然而,目前的方法试图通过自动编码器学习非线性转换,而忽略抽样关系,留下巨大的空间来设计更有效的代表性学习机制,以便进行不受监督的积极学习。在本文中,我们提出一个新的深层次的、不受监督的积极学习模式,通过名为ALLG的可学习图形。ALLG从学习最佳图形结构以获得更好的样本代表性和选择有代表性的样本中受益。为了使所学的图形结构更加稳定和有效,我们把最近的相邻图作为先验图进行考虑,并学习一种关系传播图结构。我们还在不同的层中安装了捷径连接,这可以在某种程度上缓解众所周知的超移动问题。根据我们的知识,这是第一次尝试利用图形结构学习来进行不受监督的积极学习。在六个数据集上进行的广泛实验显示了我们方法的功效。

0
下载
关闭预览

相关内容

【图与几何深度学习】Graph and geometric deep learning,49页ppt
最新《自监督表示学习》报告,70页ppt
专知会员服务
85+阅读 · 2020年12月22日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
128+阅读 · 2020年5月14日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
浅谈主动学习(Active Learning)
凡人机器学习
30+阅读 · 2020年6月18日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
13+阅读 · 2021年7月20日
Continual Unsupervised Representation Learning
Arxiv
7+阅读 · 2019年10月31日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
3+阅读 · 2018年8月12日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
3+阅读 · 2018年4月10日
VIP会员
相关资讯
浅谈主动学习(Active Learning)
凡人机器学习
30+阅读 · 2020年6月18日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员