ICLR 2022杰出论文奖放榜，浙大、清华、人大学者一作入选

---

  新智元报道  

编辑：拉燕 好困

【新智元导读】刚刚，ICLR 2022杰出论文奖名单公布了！

今年，荣获ICLR杰出论文奖的论文共有7篇，其中华人一作占了3篇。

 

此外，还有3篇论文获得了 荣誉提名 。  

杰出论文奖

Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models

作者：Fan Bao, Chongxuan Li, Jun Zhu, Bo Zhang

 

论文链接：https://arxiv.org/abs/2201.06503

 

这篇论文主要谈及了扩散概率模型（DPM），这是一种强大的生成模型，是机器学习领域快速发展的议题。本文旨在解决DPM模型的内在局限性。

 

本文作者提出了解析型DPM模型，这是一种新颖而巧妙的免训练推理框架。该模型使用蒙特卡洛方法和预训练模型来对差进行估算，并得到KL散度的解析形式。

 

本文因其理论贡献和应用方面所具有的重要意义获奖，将对未来DPM的相关研究产生影响。

 

Jun Zhu

 

Hyperparameter Tuning with Renyi Differential Privacy

作者：Nicolas Papernot, Thomas Steinke

 

论文链接：https://arxiv.org/abs/2110.03620

 

这篇论文就学习算法的差分隐私分析中存在的一个重要盲点，提出了全新的见解。即，以数据为基础，多次运行学习算法，用以调整超参数的事实。

 

论文作者展示了，在有一些情况下，部分数据可能会使优化过的超参数产生偏离，进而泄露个人隐私等信息。

 

此外，在Renyi差分隐私框架内，论文作者给超参数的收集流程提供了一些隐私保护。

 

这篇论文聚焦被广泛使用的学习算法，及其对社会隐私的影响；并提出了一些办法来解决这个问题。

 

可以说，这篇轮为给之后有关差分隐私-机器学习算法研究打下了基础。

 

Learning Strides in Convolutional Neural Networks

作者：Rachid Riad, Olivier Teboul, David Grangier, Neil Zeghidour

论文链接：https://arxiv.org/abs/2202.01653

 

这篇论文解决了所有使用卷积网络的人都可能面临的一个重要问题。即，按部就班的设置步幅，而非通过反复试错的方式。

 

论文作者提出了一种既新颖又巧妙的数学公式，来让AI学习走路。并且，论文作者展示了一种使用的办法，可以实现SOTA级别的实验结果。

 

核心思路就是DiffStride，这是第一个具有可习得的步幅的下采样层，人们可以学习傅里叶域中裁剪掩码的大小。进而能够有效地，通过适合可微编程的方式，对大小进行调节。

 

这篇论文非常出彩，它提供了一种可以成为深度学习领域中常用工具的技术。

 

Expressiveness and Approximation Properties of Graph Neural Networks

作者：Floris Geerts, Juan L Reutter

 

论文链接：https://arxiv.org/abs/2204.04661

 

这篇论文展示了如何将不同神经网络的GNN架构表达性和可分离性的问题，简化为检验这些计算在张量语言中的体现，而这些问题又和一些高知名度的组合概念相关，例如树宽。

 

值得一提的是，本文提供了一种巧妙的办法，可以根据WL测试轻松获取GNN分离能力的界限。WL测试已成为衡量GNN分离能力的标准。

 

论文中所提出的框架，还对通过GNN研究函数的近似性有影响。本文提供了一个用以描述、比较和分析GNN架构的通用框架，这可能会对未来的研究产生重大影响。

 

此外，本文还提供了大量研究工具，GNN架构设计人员可以使用这些工具分析GNN的分离能力，而无需再了解复杂的WL测试。

 

Comparing Distributions by Measuring Differences that Affect Decision Making

作者：Shengjia Zhao, Abhishek Sinha, Yutong (Kelly) He, Aidan Perreault, Jiaming Song, Stefano Ermon

 

论文链接：https://openreview.net/forum?id=KB5onONJIAU

 

这篇论文提出了一类新型差异，用以根据决策任务的优化损失来比较两种概率分布。

 

挑选合适的决策任务，此方法就可以一般化Jensen-Shannon的差异，以及最大平均差异族。

 

本文作者证明了，与各种基准上的竞争性的基线相比，新提出的方法实现了优异的测试能力，同时还有例证。比方说，可以用来了解气候变化对不同社会和经济活动的影响，或是评估样本的质量以及选择针对不同决策任务的特征。

 

新办法不仅十分巧妙，而且委员会认为这篇论文的经验十分重要。

 

Shengjia Zhao

 

Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path

作者：X.Y. Han, Vardan Papyan, David L. Donoho

 

论文链接：https://arxiv.org/abs/2106.02073

 

这篇论文对当今深度网络训练范式中普遍存在的「神经崩溃」（neural collapse）现象提出了新的见解。

 

本文展示了一种新的均方误差（MSE）损失分解法，而非以往在数学上更难分析的交叉熵损失。

 

最终，通过研究沿中心路径的重整化梯度流，本文作者推导出预测神经崩溃的办法。

 

本文问理解深度网络的经验训练动态提供了新颖且极具启发性的理论见解。

 

X.Y. Han

Bootstrapped Meta-Learning

作者：Sebastian Flennerhag, Yannick Schroecker, Tom Zahavy, Hado van Hasselt, David Silver, Satinder Singh

 

论文链接：https://arxiv.org/abs/2109.04504

 

元学习，或是学习怎样学习，具有很强的潜力发展人工智能。但是元优化一直是释放元学习潜力的巨大挑战。

 

这篇论文为元学习开辟了一个新方向，灵感来自于TD学习，从自身或其它更新规则引导元学习器。

 

本文理论分析透彻，实证结果令人信服。在基准测试中为无模型代理提供了最先进的技术。并且证明了其在多任务元学习中产生的性能和效率提升。

杰出论文荣誉提名

Understanding over-squashing and bottlenecks on graphs via curvature

作者：Jake Topping, Francesco Di Giovanni, Benjamin Paul Chamberlain, Xiaowen Dong, Michael M. Bronstein

 

论文链接：https://arxiv.org/abs/2111.14522

 

Efficiently Modeling Long Sequences with Structured State Spaces

作者：Albert Gu, Karan Goel, Christopher Re

 

论文链接：https://arxiv.org/abs/2111.00396

 

PiCO: Contrastive Label Disambiguation for Partial Label Learning

作者：Haobo Wang, Ruixuan Xiao, Yixuan (Sharon) Li, Lei Feng, Gang Niu, Gang Chen, Junbo Zhao

 

论文链接：https://arxiv.org/abs/2201.08984

参考资料：

https://blog.iclr.cc/2022/04/20/announcing-the-iclr-2022-outstanding-paper-award-recipients/