NIPS 2017亮点全解读：四大获奖论文结果揭晓

2017 年 12 月 6 日 哈工大SCIR 机器之心

声明：本文转载自公众号机器之心

NIPS大会的第一天，长滩会展中心门口的注册排队长龙「长到可以让你看几篇论文」，这就是 NIPS 的魅力。

美国时间 12 月 4 日晨，第 31 届神经信息处理系统大会（Neural Information Processing Systems，NIPS）于美国加州长滩的会展中心正式开幕。作为人工智能和机器学习领域最重要的盛会，来自计算机科学领域的各路专家和业界人士汇集于此，将在未来的五天里共同讨论和分享人工智能的前沿想法。

四篇获奖论文全部揭晓

除了关注度之外，NIPS 2017 的学术含金量也又上了一个新台阶。据统计，本届 NIPS 共收到 3240 篇论文投稿，创历年新高，其中 678 篇被选为大会论文，录用比例 20.9%。40 篇为 Oral 论文，112 篇为 Spotlight 论文。

官网公布了 3 篇最佳论文、一篇 Test of time award 奖项，机器之心对这四篇获奖论文做摘要介绍，详细想看下文。

最佳论文奖（Best paper awards）

在大会第一天，根据官网信息我们正式获知了今年的最佳论文等奖项。由于今年最佳论文的获奖者，来自卡耐基梅隆大学的 Noam Brown 与其导师 Tuomas Sandholm 早早地公布了自己的获奖信息（参见：NIPS 2017 最佳论文出炉：CMU 冷扑大师不完美信息博弈研究获奖），悬念就落到了另外几篇获奖论文上。

论文：Safe and Nested Subgame Solving for Imperfect-Information Games

论文链接：https://arxiv.org/abs/1705.02955

摘要：和完美信息博弈不同，不完美信息博弈不能通过将博弈分解为可独立求解的子博弈而求得占优策略。因此我们越来越多地使用计算密集的均衡判定技术，并且所有的决策必须将博弈的策略当做一个整体。由于不能通过精确的分解来解决不完美信息博弈，人们开始考虑近似解，或通过解决不相交的子博弈提升当前结果。这个过程被称为子博弈求解（subgame solving）。我们提出了一种无论在理论上还是在实践上都超越了之前方法的子博弈求解技术。我们还展示了如何对它们和以前的子博弈求解技术进行调整，以对超出初始行动提取（original action abstraction）的对手的行动做出应答；这远远超越了之前的顶尖方法，即行动转化（action translation）。最后，我们展示了当博弈沿着博弈树向下进行时，子博弈求解可能会重复进行，从而大大降低可利用性。我们应用这些技术开发了能在一对一无限注德州扑克单挑中打败顶尖人类选手的第一个 AI。

来自伦敦大学学院（UCL）的 Wittawat Jitkrittum 等人同时获得了 NIPS 2017 最佳论文奖。

论文：A Linear-Time Kernel Goodness-of-Fit Test

论文链接：http://www.cmap.polytechnique.fr/~zoltan.szabo/publications/jitkrittum17linear.pdf

摘要：我们提出了一个全新的拟合优度（goodness-of-fit）的适应性测试法，其中计算资源的消耗与样本数呈线性关系。我们通过最小化假负类率来学习最能展示观察样本和参考模型之间差异的测试特征。这些特征是通过 Stein 法构造的——这意味着没有必要计算模型的归一化常数。我们分析了新测试的 Bahadur 渐进效率，并证明了在均值偏移（mean-shift）的情况下，无论选择哪个测试参数，我们的测试总是比先前的线性时间核测试具有更高的相对效率。在实验中，新方法的性能超过了早期线性时间测试，并且匹配或超过了二次时序内核（quadratic-time kernel）测试的能力。在高维和模型结构可用的情况下，我们的拟合优度测试在模型中抽取样本，表现远远超越基于最大平均差异（Maximum Mean Discrepancy）的二次时序双样本测试。

Wittawat Jitkrittum(左）， Zoltan Szabo（右）

在接受机器之心的采访中，该论文的第一作者 Jitkrittum 表示他并没有想到会获得这个奖项。「我们的项目采取了一种独特的方法，并开发了一款工具，能够更高效地在模型中基于数据样本找出错误。但我并没有想到它会受到如此的好评。」

另一个最佳论文奖项则归于斯坦福大学的 John C. Duchi 与 Hongseok Namkoong。

论文：Variance-based Regularization with Convex Objectives

论文链接：https://arxiv.org/abs/1610.02581

摘要：我们研究了一种风险最小化和随机优化的方法，该方法可以为方差提供一个凸属性的替代项，并允许在逼近和估计误差间实现近似最优与高效计算间的权衡。我们的方法建立在分布鲁棒性优化和 Owen 经验性似然度的基础上，并提供了一些有限样本（finite-sample）和渐进结果以展示估计器的的理论性能。具体来说，我们证明了该过程具有最优性保证（ertificates of optimality），并通过逼近和最优估计误差间良好的权衡在更一般的设定下比经验风险最小化方法有更快的收敛率。我们还给出了确凿的经验性证据，其表明估计器在实践中会在训练样本的方差和绝对性能之间进行权衡。此外，估计器也会提升标准经验风险最小化方法在许多分类问题上的测试性能。

经典论文奖（Test of time award）

论文：Random Features for Large-Scale Kernel Machines

论文链接：https://people.eecs.berkeley.edu/~brecht/papers/07.rah.rec.nips.pdf

摘要：为了加速核机器（核函数）的训练，我们提出了一种将输入数据映射到一个随机低维特征空间的方法，并将这种映射应用到现存的快速线性方法中。我们的随机化特征经过特定的设计以转化数据的内积近似等价于特征空间中用户指定位移不变性的核函数（shift-invariant kernel）。我们研究了两组随机特征，提供了其近似各种径向基核函数（RBK）能力的收敛范围，并表明在在大规模分类和回归任务中，使用这些特征的线性机器学习算法优于当前最佳的大规模核机器。

以上就是NIPS 2017大会的一些亮点，大家敬请关注。