【ICLR 2018录用结果出炉】23篇oral干货，强化学习、对抗网络、可解释性最受关注

---

  新智元专栏 

来源：ICLR

编辑：肖琴

【新智元导读】素有深度学习顶会“无冕之王”之称的ICLR 2018今天公布了录用结果。今年ICLR共接收981篇投稿，相较去年490篇多了一倍有余，录用结果如下：2.3% 录用为 oral 论文（23篇）、31.4% 录用为 poster 论文（314篇）、9% 被接收为 workshop track（90篇），51% 论文被拒（508篇）、6.2% 撤回（63篇）。

接收论文列表：https://openreview.net/group?id=ICLR.cc/2018/Conference

Oral Papers：23篇

1、AmbientGAN: Generative models from lossy measurements

（AmbientGAN：来自有损测量的生成模型）

作者：Ashish Bora, Eric Price, Alexandros G. Dimakis（德州大学）

论文地址：https://openreview.net/forum?id=Hy7fDog0b

评分：7.33

简介：如何从嘈杂、扭曲、局部的观察中学习GAN；

关键词：生成模型，对抗网络，有损测量

2、Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs

作者：W. James Murdoch, Peter J. Liu, Bin Yu（伯克利大学、谷歌）

论文地址：https://openreview.net/forum?id=rkRwGg-0Z

评分：5.56

简介：这篇论文引入了“语境分解”，一种LSTM解释算法，能够提取单词、短语和交互级别的重要性分数。

关键词：可解释性，LSTM，自然语言处理，情感分析，交互

3、Zero-Shot Visual Imitation

作者：Deepak Pathak, Parsa Mahmoudieh, Michael Luo, Pulkit Agrawal, Dian Chen, Fred Shentu, Evan Shelhamer, Jitendra Malik, Alexei A. Efros, Trevor Darrell（伯克利大学）

论文地址：https://openreview.net/forum?id=BkisuzWRW

评分：6.91

简介：智能体在训练时在没有任何形式的监督的情况下从自己的经验学习，并在测试时学习模仿单纯的视觉演示（没有动作）。

关键词：模仿，zero shot，自我监督，机器人，技能，导航，操纵

4、Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines

作者：Cathy Wu, Aravind Rajeswaran, Yan Duan, Vikash Kumar, Alexandre M Bayen, Sham Kakade, Igor Mordatch, Pieter Abbeel（伯克利大学、华盛顿大学）
论文地址：https://openreview.net/forum?id=H1tSsb-AW
评分：6.91

简介：依赖于动作的基线可以是无偏倚的，并且可以产生比策略梯度方法的只依赖于状态基线更大的方差缩减。
关键词：强化学习，策略梯度，方差缩减，基线，控制变量

5、Progressive Growing of GANs for Improved Quality, Stability, and Variation

作者：Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen（英伟达）

论文地址：https://openreview.net/forum?id=Hk99zCeAb
评分：5.67

简介：该研究以渐进的方式训练生成对抗网络，从而能够生成高质量的高分辨率图像。

关键词：生成对抗网络，无监督学习，层级方法

6、Neural Sketch Learning for Conditional Program Generation

作者：Vijayaraghavan Murali, Letao Qi, Swarat Chaudhuri, Chris Jermaine（莱斯大学）

论文地址：https://openreview.net/forum?id=HkfXMz-Ab
评分：7.44

简介：这篇文章提出一种用类似Java语言生成类型安全程序的方法，只需给出少量关于所需代码的语法信息。

关键词：程序生成，源代码，程序综合，深度生成模型

7、Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions

作者：Nadav Cohen, Ronen Tamari, Amnon Shashua

论文地址：https://openreview.net/forum?id=S1JHhv6TW
评分：8.00

简介：引入混合张量分解的概念，并用它证明相互连接的扩张的卷积网络提升了它们的表达能力。

关键词：深度学习，表现效率，扩张卷积，张量分解

8、Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments

作者：Maruan Al-Shedivat, Trapit Bansal, Yura Burda, Ilya Sutskever, Igor Mordatch, Pieter Abbeel（CMU、UMASS、OpenAI、berkeley）

论文地址：https://openreview.net/forum?id=Sk2u1g-0-
评分：7.80

简介：将持续适应问题转换为learning-to learn框架，开发了一个简单的基于梯度的meta-learning算法，适应动态变化和对抗情况。

关键词：强化学习，非平稳性，meta-learning，迁移学习，多智能体

9、Breaking the Softmax Bottleneck: A High-Rank RNN Language Model

作者：Zhilin Yang, Zihang Dai, Ruslan Salakhutdinov, William W. Cohen（CMU）

论文地址：https://openreview.net/forum?id=HkwZSG-CZ
评分：6.31

简介：将语言建模作为一个矩阵分解问题，并表明基于Softmax的模型（包括大多数神经语言模型）的表达能力受到Softmax瓶颈的限制，提出了一个简单而有效的方法来解决这个问题。

10、Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality

作者：Xingjun Ma, Bo Li, Yisen Wang, Sarah M. Erfani, Sudanthi Wijewickrema, Grant Schoenebeck, Michael E. Houle, Dawn Song, James Bailey（墨尔本大学）

论文地址：https://openreview.net/forum?id=B1gJ1L2aW
评分：7.25

简介：我们通过使用局部本质维数（LID）描述对抗样本中对抗子空间的维度属性，并且证明这些特征可以有效地区分对抗样本。

关键词：对抗子空间，局部本质维数，对抗防御，深度神经网络

11、Learning to Represent Programs with Graphs

作者：Miltiadis Allamanis, Marc Brockschmidt, Mahmoud Khademi（微软、SFU）

论文地址：https://openreview.net/forum?id=BJOFETxR-
评分：8.00

简介：程序具有可以表示为图形的结构，图神经网络可以学习在这些图形上发现bug

关键词：程序，源代码，图神经网络

12、Spectral Normalization for Generative Adversarial Networks

作者：Takeru Miyato, Toshiki Kataoka, Masanori Koyama, Yuichi Yoshida
论文地址：https://openreview.net/forum?id=B1QRgziT-
评分：7.33

简介：我们提出一种称为spectral normalization的新的权重归一化技术，以稳定GAN鉴别器的训练。

关键词：生成对抗网络，深度生成模型，无监督学习

13、Wasserstein Auto-Encoders

作者：Ilya Tolstikhin, Olivier Bousquet, Sylvain Gelly, Bernhard Schoelkopf

论文地址：https://openreview.net/forum?id=HkL7n1-0b
评分：8.00

简介：我们提出了一种基于Wasserstein距离的自动编码器，改进了VAE的采样性能。

关键词：自动编码器，生成模型，GAN，VAE，无监督学习

14、Deep Mean Field Games for Learning Optimal Behavior Policy of Large Populations

作者：Jiachen Yang, Xiaojing Ye, Rakshit Trivedi, Huan Xu, Hongyuan Zha

论文地址：https://openreview.net/forum?id=HktK4BeCZ
评分：8.50

简介：通过MFG和马尔可夫决策过程的综合推断大型群体行为的MFG模型。

关键词：平均场博弈，强化学习，马尔可夫决策过程，逆强化学习，深度学习，逆向最优控制，计算社会科学，群集建模

15、Certifiable Distributional Robustness with Principled Adversarial Training

作者：Aman Sinha, Hongseok Namkoong, John Duchi（斯坦福大学）

论文地址：https://openreview.net/forum?id=Hk6kPgZA-
评分：9.00

简介：本文提出一个快速、基于规则的对抗训练程序，具有计算和统计上的性能保证。

关键词：对抗训练，分布式鲁棒优化，深度学习，优化，学习理论

16、On the insufficiency of existing momentum schemes for Stochastic Optimization

作者：Rahul Kidambi, Praneeth Netrapalli, Prateek Jain, Sham M. Kakade

论文地址：https://openreview.net/forum?id=rJTutzbA-
评分：6.14

简介：现有的动量/加速方法，如胖球法（heavy ball method）和Nesterov加速梯度法不能改善随机梯度下降，尤其是在使用小的batch size时。

关键词：随机梯度下降，深度学习，动量，加速，heavy ball，Nesterov加速，随机优化，SGD，加速随机梯度下降

17、Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

作者：Christian Buck, Jannis Bulian, Massimiliano Ciaramita, Wojciech Gajewski, Andrea Gesmundo, Neil Houlsby, Wei Wang.（谷歌）

论文地址：https://openreview.net/forum?id=S1CChZ-CZ
评分：5.83

简介：我们提出一个位于用户和黑箱问答系统之间的智能体，它学习重新构造问题以引出最好的答案。

关键词：机器翻译，转述，问答，强化学习，智能体

18、Spherical CNNs

作者：Taco S. Cohen, Mario Geiger, Jonas Köhler, Max Welling

论文地址：https://openreview.net/forum?id=Hkbd5xZRb
评分：7.57

简介：我们提出Spherical CNN，并将其应用于3D模型识别和分子能量回归。

关键词：深度学习，同变性，卷积，3D，视觉，形状识别

19、Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input

作者：Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, Stephen Clark

论文地址：https://openreview.net/forum?id=HJGv1Z-AW
评分：6.85

简介：对应急通信协议中环境对性质的作用进行了对照研究。

关键词：解缠，通信，应急语言，合成，多代理

20、Training and Inference with Integers in Deep Neural Networks

作者：Shuang Wu, Guoqi Li, Luping Shi, Feng Chen（清华大学）

论文地址：https://openreview.net/forum?id=HJGXzmspb
评分：6.27

简介：我们在DNN中仅使用低位整数进行训练和推理

关键词：量化，训练，bitwidth，三元权重

21、Multi-Scale Dense Networks for Resource Efficient Image Classification

作者：Gao Huang, Danlu Chen, Tianhong Li, Felix Wu, Laurens van der Maaten, Kilian Weinberger（康奈尔大学、清华大学）

论文地址：https://openreview.net/forum?id=Hk2aImxAb
评分：8.33

简介：本文调查了图像分类与测试时间的计算资源限制。

关键词：高效学习，预算学习，深度学习，图像分类，卷积网络

22、Synthetic and Natural Noise Both Break Neural Machine Translation

作者：Yonatan Belinkov, Yonatan Bisk

论文地址：https://openreview.net/forum?id=BJ8vJebC-
评分：7.33

简介：NMT模型相当脆弱，容易受到噪音数据影响。本文用合成和自然的噪音作为NMT模型的对抗样本，探索提高模型鲁棒性的方法。

关键词：神经机器翻译，特征，噪声，对抗样本，稳健训练

23、On the Convergence of Adam and Beyond

作者：Sashank J. Reddi, Satyen Kale, Sanjiv Kumar（谷歌）

论文地址：https://openreview.net/forum?id=ryQu7f-RZ
评分：8.56

简介：我们研究了Adam，RMSProp等流行优化算法的收敛性，并提出了这些方法的新变体。

关键词：优化，深度学习，Adam，RMSProp

ICLR 2018将于4 月 30 日~ 5 月 3 日在加拿大温哥华举行，新智元将持续带来论文解读和大会现场报道，敬请关注！

---

加入社群

新智元AI技术+产业社群招募中，欢迎对AI技术+产业落地感兴趣的同学，加小助手微信号: aiera2015_1 入群；通过审核后我们将邀请进群，加入社群后务必修改群备注（姓名-公司-职位；专业群审核较严，敬请谅解）。

此外，新智元AI技术+产业领域社群(智能汽车、机器学习、深度学习、神经网络等)正在面向正在从事相关领域的工程师及研究人员进行招募。

加入新智元技术社群 共享AI+开放平台