ICML 2019必看！87页超强干货博士笔记总结

2019 年 6 月 17 日 新智元

新智元报道

来源：David Abel

编辑：元子

【新智元导读】ICML 2019共收到3424篇有效投稿论文，接收率为 22.6%。这篇87页、由布朗大学博士四年级学生David Abel总结整理的ICML 2019参会Highlights笔记，提炼了演讲和会谈亮点，通篇干货！

6月9日至15日，ICML 2019（国际机器学习大会）于美国加州举行。本届大会共收到3424篇有效投稿论文，最终收录774篇，接收率为 22.6%，低于去年接收率25%（ICML 2018共收到2473篇有效投稿论文，最终收录论文621篇）。

提交论文最多的子领域分别是：深度学习、通用机器学习、强化学习、优化等

论文数量排名前五的公司分别是谷歌、谷歌大脑、微软、DeepMind、Facebook，论文数量分别为：82、42、35、29、23。最终谷歌独揽153篇，成为ICML论文收录第一。

中国公司中腾讯被收入10篇，阿里被收录5篇，百度1篇。

学校方面，排名前五的是：MIT 47篇、UCBerkeley 45篇、斯坦福大学40篇、CMU35篇、佐治亚理工学院24篇。

中国高校也有4所进入Top 50，分别是：清华大学15篇，北京大学11篇，南京大学8篇，香港中文大学7篇。

接收论文列表：

https://icml.cc/Conferences/2019/AcceptedPapersInitial

那么ICML 2019会场都有谁上台演讲了？他们都讲了什么？下面新智元为大家带来一份87页的ICML 2019会议的Highlights笔记，由布朗大学博士四年级学生David Abel总结整理，通篇干货。

David个人主页：

https://david-abel.github.io/

这份笔记共分为2个部分，首先简单介绍了大会的亮点；接着介绍了大会每天的主会场和Workshop。

接下来新智元为大家介绍部分笔记内容，完整笔记内容链接在文末。

ICML 2019亮点：探索和气候变化成为热门，急需标准化评估强化学习

关于政策外评估和非政策学习的大量工作，这些问题设置非常重要，因为作者（和许多其他人）预计强化学习应用程序将伴随来自次优策略的大量数据
探索再次成为热门话题，除了政策外评估（以及其他一些评估），这是强化学习的基本问题之一，现在处于有利地位，可能取得重大进展
一些非常好的工作继续阐明分布式强化学习
气候变化研讨会的人工智能非常出色，并且参加人数非常多。机器学习工具在目前的形式下可以非常有效的对气候变化有所帮助
作者认为需要标准化评估强化学习。并非只考虑一种方法实现这一目标，或者只需要一个域，不过目前评估协议的差异太大

最佳论文演讲：挑战无监督解耦表示中的常见假设

这是一篇大规模深入研究无监督解耦表示(Disentangled Representation)的论文，对近年来绝大多数的非监督解耦表示方法进行了探索、利用2.5GPU年的算力在7个数据集上训练了12000多个模型。

基于大规模的实验结果，研究人员对这一领域的一些假设产生了质疑，并为解耦学习的未来发展方向给出了建议。

此外，研究人员还同时发布了研究中所使用的代码和上万个预训练模型，并封装了 disentanglement_lib 供研究者进行实验复现和更深入的探索。

最佳论文的作者作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rätsch, Sylvain Gelly, Bernhard Schölkopf, Olivier Bachem等来自苏黎世联邦理工学院 (ETH Zurich)、MaxPlanck 智能系统研究所及谷歌大脑。

论文地址：

http://proceedings.mlr.press/v97/locatello19a/locatello19a.pdf

本场演讲者是Francesco Locatello,和Olivier Bachem。

本论文从理论和实践两方面对这一领域中普遍存在的一些假设提出了挑战。本研究的主要贡献可概括如下:

在理论上证明，如果没有对所考虑的学习方法和数据集产生归纳偏置，那么解耦表示的无监督学习基本上是不可能的
在一项可重复的大规模实验研究中研究了当前的方法及其归纳偏置，该研究采用了完善的无监督解耦学习实验方案。实现了六种最新的无监督解耦学习方法以及六种从头开始的解耦方法，并在七个数据集上训练了超过12000个模型
发布了disentanglement_lib，这是一个用于训练和评估解耦表示的新库。由于复制结果需要大量的计算工作，还发布了超过10000个预训练的模型，可以作为未来研究的基线
分析实验结果，并挑战了无监督解耦学习中的一些共识

多任务和终身学习

使用解耦表示进行域不可知学习。演讲者Xingchao Peng提出了一种新的方法“深层对抗解耦自动编码器（DADA）”：