每日论文 | 从RNN中学习可解释结构;高效参数迁移和多任务学习的方法;图形CNN和树搜索解决NP困难问题

2018 年 10 月 28 日 论智

1

Learning with Interpretable Structure from RNN

在结构学习中,输出结果通常是一种结构,它可以作为模型是否有着良好表现的监督标准。随着近几年人们对深度学习模型结构的探索日渐流行,如果我们可以从深度学习模型中学习到可解释模型的话,就能有很大帮助。在这篇论文中,我们重点关注循环神经网络,它的内部结构并不容易理解。我们发现,处理有序数据的有限状态机有着更容易理解的内部机制,可以从RNN中进行学习。

地址:https://arxiv.org/abs/1810.10708

2

K For The Price Of 1: Parameter Efficient Multi-task And Transfer Learning

我们提出了一种新方法,能够进行高效的参数迁移和多任务学习。基本方法是让一个模型补丁(少量参数)对每项任务进行处理,而不是对整个网络的最后一层进行微调。

地址:https://arxiv.org/abs/1810.10703

3

Combinatorial Optimization with Graph Convolutional Networks and Guided Tree Search

我们提出了一种基于学习的方法来计算有一定NP困难的问题。我们的方法结合了深度学习技术和从经典启发式问题中得出的有用算法元素。核心部分是一个图形卷积网络,经过训练可以估计概率,即对于一个图形中的每个顶点,是否该顶点是最优解的一部分。该网络设计和训练的目的是合成多种解决方案,从而可以通过树搜索对解决空间进行快速探索。

地址:https://arxiv.org/abs/1810.10659

登录查看更多
13

相关内容

RNN:循环神经网络,是深度学习的一种模型。
最新《多任务学习》综述,39页pdf
专知会员服务
259+阅读 · 2020年7月10日
【ICML2020】小样本目标检测
专知会员服务
90+阅读 · 2020年6月2日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
专知会员服务
73+阅读 · 2020年5月21日
专知会员服务
102+阅读 · 2020年3月12日
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
65+阅读 · 2020年2月29日
基于LSTM深层神经网络的时间序列预测
论智
21+阅读 · 2018年9月4日
论文浅尝 | 利用 RNN 和 CNN 构建基于 FreeBase 的问答系统
开放知识图谱
11+阅读 · 2018年4月25日
【学界】从可视化到新模型:纵览深度学习的视觉可解释性
GAN生成式对抗网络
10+阅读 · 2018年3月4日
用Python实现CNN长短期记忆网络!
全球人工智能
9+阅读 · 2017年8月22日
Arxiv
6+阅读 · 2019年3月19日
Arxiv
19+阅读 · 2018年10月25日
Arxiv
11+阅读 · 2018年5月13日
Arxiv
19+阅读 · 2018年3月28日
Arxiv
4+阅读 · 2017年7月25日
VIP会员
相关VIP内容
最新《多任务学习》综述,39页pdf
专知会员服务
259+阅读 · 2020年7月10日
【ICML2020】小样本目标检测
专知会员服务
90+阅读 · 2020年6月2日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
专知会员服务
73+阅读 · 2020年5月21日
专知会员服务
102+阅读 · 2020年3月12日
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
65+阅读 · 2020年2月29日
Top
微信扫码咨询专知VIP会员