Learning with Interpretable Structure from RNN
在结构学习中,输出结果通常是一种结构,它可以作为模型是否有着良好表现的监督标准。随着近几年人们对深度学习模型结构的探索日渐流行,如果我们可以从深度学习模型中学习到可解释模型的话,就能有很大帮助。在这篇论文中,我们重点关注循环神经网络,它的内部结构并不容易理解。我们发现,处理有序数据的有限状态机有着更容易理解的内部机制,可以从RNN中进行学习。
地址:https://arxiv.org/abs/1810.10708
K For The Price Of 1: Parameter Efficient Multi-task And Transfer Learning
我们提出了一种新方法,能够进行高效的参数迁移和多任务学习。基本方法是让一个模型补丁(少量参数)对每项任务进行处理,而不是对整个网络的最后一层进行微调。
地址:https://arxiv.org/abs/1810.10703
Combinatorial Optimization with Graph Convolutional Networks and Guided Tree Search
我们提出了一种基于学习的方法来计算有一定NP困难的问题。我们的方法结合了深度学习技术和从经典启发式问题中得出的有用算法元素。核心部分是一个图形卷积网络,经过训练可以估计概率,即对于一个图形中的每个顶点,是否该顶点是最优解的一部分。该网络设计和训练的目的是合成多种解决方案,从而可以通过树搜索对解决空间进行快速探索。
地址:https://arxiv.org/abs/1810.10659