NeurIPS 2023 论文奖项公布！两篇杰出的主论文！ 两篇杰出的亚军论文！ 两篇杰出的数据集和基准轨道论文

宣布2023年NeurIPS论文奖项 作者：Amir Globerson、Kate Saenko、Moritz Hardt、Sergey Levine 和通讯主席 Sahra Ghalebikesabi

我们很荣幸地宣布2023年NeurIPS的获奖论文！今年的重要奖项包括历史试验奖和以下三个类别中每个类别的两篇杰出论文奖：

两篇杰出的主轨道论文 两篇杰出的主轨道亚军论文 两篇杰出的数据集和基准轨道论文 今年的组织者收到了创纪录数量的论文提交。在1,100名领域主席、100名高级领域主席和396名伦理审查员审查的13,321篇提交论文中，有3,584篇在502篇论文被标记为伦理审查后被接受。

我们感谢主轨道奖项委员会：Yoav Artzi、Chelsea Finn、Ludwig Schmidt、Ricardo Silva、Isabel Valera 和 Mengdi Wang。对于数据集和基准轨道，我们感谢 Sergio Escalera、Isabelle Guyon、Neil Lawrence、Dina Machuve、Olga Russakovsky、Hugo Jair Escalante、Deepti Ghadiyaram 和 Serena Yeung。在决策过程中考虑了利益冲突。

祝贺所有作者！请查看周二至周四在大厅 & B1-B2（1层）的海报会议。

杰出的主轨道论文 仅用一（1）次训练运行进行隐私审计 作者：Thomas Steinke · Milad Nasr · Matthew Jagielski

海报会议2：12月12日周二下午5:15 - 7:15 CST，#1523

口头报告：12月12日周二下午3:40 - 4:40 CST，R06-R09室（2层）

摘要：我们提出了一种用单次训练运行审计差分隐私机器学习系统的方案。这利用了能够独立添加或移除多个训练样本的并行性。我们使用差分隐私与统计泛化之间的联系进行分析，避免了群体隐私的成本。我们的审计方案对算法假设最小，可以在黑盒或白盒设置中应用。我们通过将其应用于DP-SGD来证明我们框架的有效性，在这里，我们通过训练仅一个模型就可以实现有意义的经验隐私下界。相比之下，标准方法将需要训练数百个模型。

大型语言模型的新兴能力是幻觉吗？ 作者：Rylan Schaeffer · Brando Miranda · Sanmi Koyejo

海报会议6：12月14日周四下午5:00 - 7:00 CST，#1108

口头报告：12月14日周四下午3:20 - 3:35 CST，C2厅（1层）

摘要：近期的研究声称，大型语言模型显示出新兴能力，这些能力在小规模模型中不存在，但在大规模模型中出现。新兴能力吸引人的地方有两个：它们的突变性，看似瞬间从不存在变为存在；以及它们的不可预测性，在看似无法预见的模型规模下出现。在这里，我们提出了新兴能力的另一种解释：对于特定任务和模型家族，当分析固定模型输出时，由于研究者选择的度量而非模型行为随规模的基本变化，新兴能力似乎出现。具体来说，非线性或不连续的度量产生明显的新兴能力，而线性或连续的度量产生平滑、连续、可预测的模型性能变化。我们在一个简单的数学模型中提出了我们的替代解释，然后通过三种互补方式进行测试：我们（1）对InstructGPT/GPT-3家族在声称具有新兴能力的任务上使用度量选择的影响进行了三个预测、测试和确认；（2）在BIG-Bench上对新兴能力的元分析中进行了两个关于度量选择的预测、测试和确认；（3）展示了如何选择度量，以在多个视觉任务中跨不同的深度网络产生前所未见的看似新兴能力。通过所有三个分析，我们提供了证据，表明在不同的度量或更好的统计数据下，所谓的新兴能力会消失，可能不是扩展AI模型的一个基本属性。

杰出的主轨道亚军 扩展数据受限语言模型 作者：Niklas Muennighoff · Alexander Rush · Boaz Barak · Teven Le Scao · Nouamane Tazi · Aleksandra Piktus · Sampo Pyysalo · Thomas Wolf · Colin Raffel

海报会议2：12月12日周二下午5:15 - 7:15 CST，#813

口头报告：12月12日周二下午3:40 - 4:40 CST，C2厅（1层）

摘要：扩展语言模型的当前趋势包括增加参数数量和训练数据集大小。将这一趋势外推表明，训练数据集的大小可能很快受到互联网上可用文本数据量的限制。受此限制的启发，我们调查了在数据受限环境中扩展语言模型。具体而言，我们进行了一系列实验，改变数据重复和计算预算的程度，范围高达9000亿训练标记和90亿参数模型。我们发现，在固定计算预算下，使用重复数据进行多达4个周期的训练与使用唯一数据相比，损失的变化可以忽略不计。然而，随着重复次数的增加，增加计算的价值最终降为零。我们提出并实证验证了一个计算优化的扩展法则，考虑了重复标记和过剩参数的递减价值。最后，我们尝试了缓解数据稀缺的方法，包括用代码数据增强训练数据集或去除常用过滤器。我们的400次训练运行中的模型和数据集可在https://github.com/huggingface/datablations免费获取。