NeurIPS2019公布获奖论文！7篇论文斩获！微软华裔研究员斩获经典论文- 专知

NeurIPS2019公布获奖论文！7篇论文斩获！微软华裔研究员斩获经典论文

人工智能顶会NeurlPS 2019周日一早在温哥华拉开序幕，今天，大会公布了包括杰出论文奖、杰出新方向论文奖等五大类奖项。

NeurIPS，全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems），自1987年诞生至今已有32年的历史，一直以来备受学术界和产业界的高度关注。NeurIPS为人工智能领域的A类会议，同时也是人工智能领域最富盛名的年度会议之一。

在论文方面，今年大会投稿数量也创下了历史新高，共提交6743 篇有效论文，接收 1428 篇，接受率为 21.17%。

今年的参会人数也再创新高，参会总人数已经突破了13000人，相比去年参会的9000人增加了近一半。由于报名人数过多。

评审委员会一致通过的评审标准包括，鼓励以下9种研究特质：

持久的潜力ーー专注于主要工作，而不是边边角角。在未来的几十年里，人们可能仍然会关心这个问题；
洞察力——提供新的（最好是深入的）理解；不仅仅是为了模型表现出几个百分点的改进；
创造力——以创造性的新方式看待问题，给出一个真正让读者感到惊讶的结果；
革命性ーー将从根本上改变人们未来的思维方式；
严谨性ーー无懈可击的严谨和考虑；
优雅感ーー美丽、干净、光滑、优雅；
现实性ーー不过分强调其重要性；
科学性——在实际上是可证伪的；
可重复性ーー结果是可重现的；代码是可用的，并且可以在各种机器上使用；数据集是可用的；证明细节是完整的。

组委会还公布了一些他们不鼓励的3种论文特质:

低效ーー远离那些仅仅因为资源浪费而脱颖而出的工作（主要是因为浪费了大量资源而获得了较高的排名）
趋附大势——因为一个想法很时尚所以采用某种方法，但可以通过其他方法以不同的更有效的方式获得。
过于复杂ーー论文有非必要的复杂性。

此外，组委会今年还新增加了一个杰出新方向论文奖，以突出在为未来的研究设置一个新的途径方面出色的工作。

一起来看看5大奖项的获奖论文。

杰出论文奖（Outstanding Paper Award）

获奖论文：

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

论文链接：

https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise.pdf

论文作者：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos

机构：威斯康辛大学麦迪逊分校、马普所

摘要：本文作者研究了分布独立的半空间（half-space）下的 PAC 学习问题（在 Massart 噪声下）。具体而言，给定一组带标签样本（x, y），采样于 R^d+1 维的分布 D，如此以来，未带标签点 x 上的边缘分布是任意的，并且标签 y 通过一个未知半空间生成，而这个未知半空间被 Massart 噪声破坏，其中噪声率η<1/2。现在我们的目的是找出假设 h，它能够最小化误分类误差（misclassification error）

。

对于这个问题，作者提出了误分类误差为η+ε的 poly (d, 1/ε) 时间算法。此外，他们还提供了证据证明其算法的误差保证（error guarantee）在计算上可能很难实现。作者表示，在他们的研究之前，即使是针对析取类（class of disjunction）而言，在这个模型中也没有出现高效的弱（独立分布）学习器。这种针对半空间（或甚至于析取而言）的算法在各项研究中一直是悬而未决的问题，从 Solan（1988）、Cohen（1997）到最近的 Avrim Blum 的 FOCS 2003 教程都强调了这一问题。

评语：这篇论文研究了线性阈方程（linear threshold function）在二分类的，有着未知的、有边界标签噪声训练数据的情况。它解决了一个非常基础且长期开放的问题，并提出了一个高效的算法用于学习。这是机器学习核心领域的长期开放的问题，而这篇论文做出了巨大的贡献。其贡献在于：在 Massart 噪声下高效地学习半空间（half-space）。举一个例子：在 1%Massart 噪声下，弱学习析取（误差率为 49%）也是开放的。该论文展示了如何高效地实现与 Massart 噪声和 epsilon（并如预期那样及时地执行 poly(1/epsilon)）相当的超额风险。该算法非常复杂，结果在技术上也难以确定。最终的目的是能够高效地获得与 epsilon（及时执行 poly(1/epsilon)）相当的超额风险。

杰出新方向论文奖（Outstanding New Directions Paper Award）

获奖论文：

Uniform convergence may be unable to explain generalization in deep learning

论文链接：

https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning.pdf

论文作者：Vaishnavh Nagarajan、J. Zico Kolter

机构：卡耐基梅隆大学、博世人工智能中心

评语：这篇论文从根本上呈现了一些负面结果，表明许多现有的（基于 norm 的）深度学习算法性能边界都没有达到他们所宣称的结果。作者进一步说明，当那些研究者继续学习双边一致收敛机制时，他们无法达到自己宣称的结果。虽然该论文没有解决（或假装解决）深度神经网络中的泛化问题，但这是一个起点，表明社区开始以一种新的视角看待深度学习。

杰出论文荣誉提名奖（Honorable Mention Outstanding Paper Award）

获奖论文：

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

论文链接：

https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses

论文作者：AnanyaUppal、 ShashankSingh、BarnabásPóczos

机构：卡内基梅隆大学

评语：该论文以严谨的理论论证，说明了 GAN 在概率密度估计要比线性方法更有优势（就收敛速度而言）。利用之前关于小波收缩（wavelet shrinkage）的研究结果，该论文提供了关于 GAN 表征能力的新见解。具体而言，研究者在拥有大量类别的损失（称之为积分概率度量）和大型函数类别（Besov 空间）的环境下，为非参数化概率密度估计推导了极小极大收敛率。

评审者认为这篇论文对于非参数化估计和 GAN 的研究工作有非常深远的影响。

获奖论文：

Fast and Accurate Least-Mean-Squares Solvers

论文链接：

https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

论文作者：AlaaMaalouf、IbrahimJubran、DanFeldman

机构：海法大学计算机科学系机器人与大数据实验室

评语：从线性、Lasso 回归到奇异值分解和弹性网络，最小均方求解器（Least Mean-Square solver）在许多机器学习算法种处于核心地位。这篇论文展示了如何降低最小均方求解器的计算复杂度一到两个数量级，而且这种复杂度的降低不会带来精度的损失，且能提升数值的稳定性。

该方法依赖于 Caratheodory 定理，其表明一个核心集合（d2 + 1 的点集合，维度为 d）足够表征凸集中所有 n 个点。该论文的新颖之处在于它提出了分治算法（divide-and-conquer），从而通过可接受的复杂度（O(nd + d5 log n)，其中 d << n）抽取核心集合（coreset）。

评审者强调了该方法的重要性，它作为实践方法能快速实现并提升现有算法的性能，同时它也可以扩展到其它算法，因为该方法的递归分块原则具有很强的泛化性。

杰出新方向论文荣誉提名奖（Honorable Mention Outstanding New Directions Paper Award）

获奖论文：

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

论文地址：

https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

论文作者：Sindy Löwe、Peter O'Connor、Bastiaan Veeling

机构：阿姆斯特丹大学

评语：本文依据 Oord 等人提出的无监督标准，重新探讨了深度网络的分层构建，特别是当前输入表征与时空输入表征之间的交互信息。这种感知网络中的自组织也许在算法（避开端到端的优化，因其巨大的内存占用和计算问题）和认知（借「慢功能」的特征转向一种带有生物学合理性的学习过程）方面提供了新的启发。

获奖论文：

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

论文链接：

https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations

论文作者：Vincent Sitzmann 、Michael Zollhöfer、Gordon Wetzstein

机构：斯坦福大学

评语：该论文将 CV 中的两种主要方法——多视图几何方法和深度表征方法完美地结合在一起。具体而言，本文有三大贡献：1）基于每个体素的神经渲染器，实现了场景的 3D 感知无分辨率渲染；2）一种可微的 ray-marching 算法，解决了沿摄像机投射光线寻找曲面交点的难题；3）一种潜在的场景表征方法，利用自动编码器和超网络对场景表征网络的参数进行回归。

经典论文奖（Test of Time Award）

论文名称：

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

论文链接：

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/xiao10JMLR.pdf

论文作者：Lin Xiao，微软研究院的高级首席研究员，曾就读于北京航空航天大学和斯坦福大学。他目前的研究方向包括：大规模优化的理论和算法、机器学习和在线算法、并行和分布式计算。

本文认为正规化随机学习和在线优化问题,目标函数是两个凸的和术语:一个是损失函数的学习任务；另一个是一个简单的正则化项。研究中开发了Nesterov的双重平均方法的扩展，可以利用在线设置的正则化结构。在这些方法的每次迭代中，通过解决一个简单的最小化问题来调整学习变量，该问题涉及到损失函数过去所有次梯度的运行平均值和整个正则化项，而不仅仅是其次梯度。对于ℓ1的正则化，该方法能够有效的获得稀疏效果。研究还证明这些方法达到了随机学习标准的最优收敛速度。对于损失函数具有Lipschitz连续梯度的随机学习问题，研究者提出了对偶平均法的加速版。

该论文提出了一种全新在线算法——正则化双重平均算法（RDA），研究实验证明，RDA 对于ℓ1 正则化的稀疏在线学习非常有效。

经典论文奖的授予原则为：具有重要贡献、持久影响和广泛吸引力。官方设置了专门的委员会负责筛选对社会产生重大且持久影响的论文。Amir Globerson, Antoine Bordes, Francis Bach和Iain Murray承担参与到评选工作中。

委员会从18篇被接受的论文开始进行评选工作——到2009年NeurIPS，这些论文自发表以来被引用次数最多。然后，他们把搜索的重点放在那些已经产生了持续影响的论文上，即那些在最近的论文仍然被引用的论文。委员会还希望能够确定对该领域的准确贡献，使选定的论文脱颖而出；并确保该论文写得足够好，使当今社会的大多数人都能阅读。

参考链接：

1. https://medium.com/@NeurIPSConf/neurips-2019-paper-awards-807e41d0c1e

2. 机器之心：

https://mp.weixin.qq.com/s/bSsmaOzQYzJ_7RjnzS804g

3. 大数据文摘：

https://mp.weixin.qq.com/s/B2ocJ1Y2evLwVkG5FrUz5A

-END-

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！