学界 | ICLR2019 最佳论文公布：「有序神经元」、「彩票假设」获奖

会员服务 ·

学界 | ICLR2019 最佳论文公布：「有序神经元」、「彩票假设」获奖

2019 年 5 月 6 日 AI科技评论

AI 科技评论按，今天，ICLR2019 最佳论文名单公布啦！

今年获得最佳论文奖的论文有两篇，它们是：

来自加拿大蒙特利尔大学、微软蒙特利尔研究院的「Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks」
来自 MIT CSAIL 的「The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks」。

AI 科技评论将这两篇文章的摘要翻译如下：

获奖论文 1：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

有序神经元：将树结构整合到循环神经网络中

作者：Yikang Shen, Shawn Tan, Alessandro Sordoni, Aaron Courville

摘要：自然语言是具有层次结构的：较小的单元（如短语）嵌套在较大的单元（如从句）中。当较大的部分结束时，嵌套在其中的所有较小的部分也必须关闭。虽然标准的 LSTM 架构允许不同的神经元在不同的时间尺度上跟踪信息，但它在构建层次上没有明显的偏差。本文提出通过对神经元进行排序来增加这种感应偏差；主输入向量和遗忘门的向量确保了当一个给定的神经元被更新时，在它后面的所有有序排列的神经元也被更新。我们新颖的循环结构，有序神经元 LSTM（ON-LSTM），在这四个不同的任务上取得了良好的性能：语言建模、无监督解析、有针对性的句法评估和逻辑推理。

关键词：深度学习、自然语言处理、循环神经网络、语言建模

TL；DR：我们引入了一种新的感应偏差，这种偏差将树结构整合到循环神经网络中。

论文地址：https://openreview.net/forum?id=B1l6qiR5F7

获奖论文 2：The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks

彩票假设：寻找稀疏可训练的神经网络

作者：Jonathan Frankle, Michael Carbin

摘要：神经网络剪枝技术可以在不影响推理精度的前提下，将训练后的网络参数减少 90% 以上，减少存储需求，提高推理计算性能。然而，目前的经验是，修剪产生的稀疏架构从一开始就很难训练，这个结构同样会提高训练性能。

我们发现，标准剪枝技术自然地揭示了子网络，其初始化使它们能够有效地训练。基于这些结果，我们提出了「彩票假设」：密集的、随机初始化的前馈网络包含子网络（「中奖彩票」），当单独训练时，它可以在类似的迭代次数中达到与原始网络相当的测试精度。我们发现的中奖彩票赢得了初始化彩票：它们的连接具有初始权重，使得训练特别有效。

我们提出了一个识别中奖彩票的算法和一系列支持彩票假设和这些偶然初始化的重要性的实验。我们发现，对于 MNIST 和 CIFAR10，中奖彩票的规模小于几个完全连接和卷积前馈架构的 10-20%。超过这个尺寸，我们发现的中奖彩票比原来的网络学习更快，能够达到更高的测试精度。

关键词：神经网络；稀疏性；剪枝；压缩；性能；体系结构搜索

TL；DR：可以在训练后修剪权重的前馈神经网络也可以在训练前修剪相同的权重。

投稿数量逐年猛增的深度学习顶会

作为人工智能领域最年轻的会议，ICLR 的成长速度飞快。在 2013 年，ICLR 才举办了第一届，以「表征学习以及在视觉、语音、音频及 NLP 领域的作用」这一重要且热门的课题为主旨，借着 OpenReview 评审机制以及 Yoshua Bengio 和 Yann LeCun 两人的鼎力支持，到 2017 年举办第五届时已经得到了学术研究者们的广泛认可，被看作为「深度学习的顶级会议」。

在人工智能持续火热的背景下，ICLR 的投稿数量也依然在迅猛增长，ICLR 2015、2016、2017 收到的投稿分别为 143 篇、超过 265 篇、490 篇，今年 ICLR 2018 继续翻倍到了 935 篇。华盛顿大学计算机系教授 Pedro Domingos 都在推特上开玩笑说：「这已经成了深度学习界的摩尔定律了，ICLR 的投稿数目每年都要翻一倍。」

去年， ICLR 2018 共收到 935 篇论文投稿，337 篇被接受为会议论文，接受率为 36%；其中 23 篇为 oral（口头报告论文）、314 篇为 poster（海报展示论文）；另外还有 90 篇 workshop 论文。

而今年，ICLR 2019 共收到 1591 篇论文投稿，和去年相比，在投稿数量上仍然保持了大幅度的增长。其中 oral 论文 24 篇，poster 论文 476 篇。

看来，照这个趋势下去，明年的 ICLR 会更加热闹。而按照惯例，雷锋网每年都会第一时间跟进这些顶会。今年的 ICLR 2019 我们也会持续关注，接下来将会有更多报道，敬请关注。