NeurIPS 2020最佳论文奖项出炉！GPT-3、伯克利等3篇论文摘得！

最佳论文奖

1. No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium

地址： https://www.zhuanzhi.ai/paper/1cede84d4fe70b6f36d5df9acb3076e7

获奖理由：

人们的决定会影响到他人。为了保证合理的行事方式，我们需要通过这种「相互依赖」达到经济学家所说的「均衡」（equilibrium）。创建能够找出均衡点的自动程序是非常困难的任务。这篇论文提供了首个解决方法——利用学习方法为通用交互寻找「相关均衡」（correlated equilibria，CE）。

相关均衡要求一个受信任的外部调停者为决策者提供决策建议，典型案例就是红绿灯，红绿灯告诉车辆前进这一行为是否安全。即使在相关法律缺失的情况下，我们仍然应该遵循红绿灯的推荐结果，因为我们知道每个人都可以推断出这是最好的选择，闯红灯是危险的行为。

这篇论文表明，此类均衡可以通过完全独立执行的学习算法来实现，无需外部交通工程师，甚至在决策涉及多个步骤、决策者对于世界的状态一知半解时也是如此。也就是说，存在此类 regret-minimizing 算法使 CE 在更广泛的博弈类别中实现收敛，即扩展形式的博弈。这一结果解决了博弈论、计算机科学和经济学领域中长期存在的开放性问题，并对涉及调停者的博弈产生显著影响，如通过导航 app 高效制定交通路线。

2. Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystrom method

https://www.zhuanzhi.ai/paper/9e81625a4adda018bb0a2fb3a6e4a0ad

获奖理由：

从大型矩阵中选择小规模且具代表性的列向量子集是一个困难的组合问题，基于基数约束行列式点过程的方法可以给出实用的近似解。这篇论文推导出近似解近似因子的新型上下界。由于这些近似方法在机器学习领域中广泛应用，因此这篇论文可能带来巨大影响，并为核方法、特征选择和神经网络的双下降现象提供新的理解方式。

随着更多大型数据集变得可用，人们越来越依赖以简明扼要的形式总结复杂数据。数据总结（data summarization）是识别数据中重要的样例及属性以高效表示数据的过程。它能够用于从遗传学数据集中选择具有代表性的基因变体子集，也可用于从文本数据库中选择最具信息量的文档。

此前的研究表明，数据总结是一个棘手的问题，对于有些数据集，不存在能够在合理的时间范围内很好地总结数据的算法。而这篇论文表明，这些分析过于悲观。实际上，对于现实世界中的数据而言，生成可解释总结的成本要低得多。该研究表明，未来的系统将能够创建准确、可解释且高效生成的数据总结，从而极大地提高我们吸收和处理复杂数据集的能力。

3. Language Models are Few-Shot Learners

获奖理由：

用于估计序列中下一个词概率的人工智能系统叫做「语言模型」。语言模型首次出现在 1950 年代，是连接自然语言与当时的新领域——信息论的理论构架。OpenAI 的这篇论文提出了 GPT-3——有史以来最大也最复杂的语言模型。这项研究表明，如果你使用史无前例的大量算力和数据让语言模型获得足够的准确率，它也就获得了无需额外训练，仅使用简单的自然语言提示即可解决大量任务的能力。比如回答简单的问题、生成文章、确定电影评论是否积极，以及英法互译等。

论文作者表明，GPT-3 在一些任务中的能力胜过其他模型，并用大量篇幅探讨这项技术的优缺点。论文作者还考虑了这项技术的潜在有害影响，如低成本生成难以检测的假新闻，模型因训练数据偏见在种族、性别和宗教等敏感话题上产生倾向性。

https://www.zhuanzhi.ai/paper/79979beb48ef21e8fa3dd6bfa08c4266