必读论文 | 机器学习必读论文20篇

2020 年 5 月 10 日 学术头条

学术文献代表着研究热点与技术前沿，过去 10 多年间，学术文献出现了爆炸式增长。对很多初学者来说，如何正确找到自己研究领域的切入点成了一件非常痛苦的事儿。不必苦恼，小编这里有神奇推荐辣！拥有AI赋能的科技大数据检索平台 AMiner 新推出的必读论文模块，将会不让你为了不知道读什么论文而秃头，美貌与才华兼可得也。

以下是小编整理搜索得到的，近五年来有关机器学习的 20 篇必读论文，不知道是否符合您的心中所想？如有疏漏，请轻拍，与小编联系后，我们将会及时添加您心目中的dream paper。更神奇的是，推荐论文如果集齐了 5 个赞，还能跻身领域必读论文榜哦~

核心速递

1. 挑战无监督分离式表征的常见假设

2. 稀疏变分高斯过程回归的收敛速度

3. 非妄想Q学习和价值迭代

4. 非光滑凸函数的分布式优化算法

5. 通过样本压缩方案学习混合高斯模型的近乎紧密的样本复杂性边界

6. 神经常微分方程

7. 公正机器学习的滞后影响

8. 混淆梯度的虚假安全感：对抗样本防御

9. 不完全信息博弈的安全嵌套子博弈求解

10. 带有凸对象的基于方差的正则化方法

11. 一种线性时间核的拟合优度测试方法

12. 利用影响函数理解黑箱预测

13. 价值迭代网络

14. 矩阵填充没有假的局部最小值

15. 基于Magenta的即兴音乐交互体验

16. 确保异步吉布斯采样的快速混合和低偏差

17. 像素循环神经网络

18. 深度强化学习中的竞争网络架构

19. 图结构稀疏性的近似线性时间框架

20. Online Boosting的优化和自适应算法

具体解读：

1.论文题目：Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

中文题目 ：挑战无监督分离式表征的常见假设

论文作者 ：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rätsch, Sylvain Gelly, Bernhard Schölkopf, Olivier Bachem

参与单位 ：ETH Zurich, Department for Computer Science; MaxPlanck Institute for Intelligent Systems; Google Research Brain Team

论文解读 ：文章主要从理论和实践两方面对这一领域中的一些基本假设提出了挑战。文章从理论上证明，如果没有对所考虑的学习方法和数据集产生归纳偏置，那么解耦表示的无监督学习基本上是不可能的。文章还采用了完善的无监督解耦学习实验方案，进行了一个超级大规模的实验研究。最后还发布了 disentanglement_lib，这是一个用于训练和评估解耦表示的新库。由于复制这个结果需要大量的计算工作，论文还发布了超过 10000 个预训练的模型，可以作为未来研究的基线方法。

2.论文题目 ：Rates of Convergence for Sparse Variational Gaussian Process Regression

中文题目 ：稀疏变分高斯过程回归的收敛速度

论文作者 ：David R. Burt, Carl E. Rasmussen,Mark van der Wilk

参与单位 ：University of Cambridge; PROWLER.io,Cambridge

论文解读 ：这篇文章来自英国剑桥大学。自从许多研究人提出了对高斯过程后验的变分近似法后，避免了数据集大小为 N 时 O(N³) 的缩放。它们将计算成本降低到 O(NM²)，其中 M ≤ N 是诱导变量的数量。虽然 N 的计算成本似乎是线性的，但算法的真正复杂性取决于 M 如何增加以确保一定的近似质量。论文证明了稀疏 GP 回归变分近似到后验变分近似的 KL 散度的界限，该界限仅依赖于先验核的协方差算子的特征值的衰减。这些边界证明了直观的结果，平滑的核、训练数据集中在一个小区域，允许高质量、非常稀疏的近似。这些边界证明了用 M≤N 进行真正稀疏的非参数推理仍然可以提供可靠的边际似然估计和点后验估计。对非共轭概率模型的扩展，是未来研究的一个有前景的方向。

3.论文题目 ：Non-delusional Q-learning and Value-iteration

中文题目 ：非妄想Q学习和价值迭代

论文作者 ：Tyler Lu, Dale Schuurmans, Craig Boutilier

参与单位 ：Google AI

论文解读 ：本文用函数逼近法确定了 Q- 学习和其他形式的动态规划中误差的根本来源。当近似结构限制了可表达的贪婪策略的类别时，就会产生偏差。由于标准 Q-updates 对可表达的策略类做出了全局不协调的动作选择，因此可能导致不一致甚至冲突的 Q 值估计，从而导致病态行为，例如过度/低估、不稳定甚至发散。为了解决这个问题，本文引入了策略一致性的新概念，并定义了一个本地备份流程，通过使用信息集，也就是记录与备份 Q 值一致的策略约束集，来确保全局一致性。本文证明了使用这种备份的基于模型和无模型的算法都能消除妄想偏差，从而产生第一种已知算法，保证在一般条件下的最优结果。此外，这些算法只需要多项式的多个信息集（从潜在的指数支持）。最后，本文建议使用其他实用的启发式价值迭代和 Q 学习方法去尝试减少妄想偏差。

4.论文题目 ：Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

中文题目 ：非光滑凸函数的分布式优化算法

论文作者 ：Kevin Scaman, Francis Bach, Sebastien Bubeck, Laurent Massoulié, Yin Tat Lee

参与单位 ：Noah’s Ark Lab, Huawei Technologies

论文解读 ：在本文中，我们考虑使用计算单元网络的非光滑凸函数的分布式优化。我们在两个正则性假设下研究这个问题：（1）全局目标函数的 Lipschitz 连续性；（2）局部个体函数的 Lipschitz 连续性。在局部正则性假设下，本文给出了称为多步原对偶（MSPD）的一阶最优分散算法及其相应的最优收敛速度。这个结果的一个显著特点是，对于非光滑函数，当误差的主要项在 O(1/t)中时，通信网络的结构仅影响 O(1/t)中的二阶项，其中t是时间。换言之，即使在非强凸目标函数的情况下，由于通信资源的限制而导致的误差也以快速率减小。在全局正则性假设下，基于目标函数的局部平滑，给出了一种简单而有效的分布式随机平滑（DRS）算法，并证明了 DRS 在最优收敛速度的 d/4 乘因子内，其中 d 为底层。

5.论文题目 ：Nearly Tight Sample Complexity Bounds for Learning Mixtures of Gaussians via Sample Compression Schemes

中文题目 ：通过样本压缩方案学习混合高斯模型的近乎紧密的样本复杂性边界

论文作者 ：Hassan Ashtiani, Shai Ben-David, NicholasJ.A.Harvey, Chritopher Liaw, AbbasMehrabian, YanivPlan

参与单位 ：Department of Computing and Software McMaster University; School of Computer Science, University of Waterloo; Department of Computer Science, University of British Columbia; School of Computer Science McGill University Montréal; Department of Mathematics, University of British Columbia

论文解读 ：本文证明了 O(k d²/ε²)样本对于学习R^d中k个高斯的混合，直至总变差距离中的误差ε来说，是充分必要条件。这改善了已知的上界和下界这一问题。对于轴对准高斯混合，本文证明了 O(k d/ε²)样本匹配一个已知的下界是足够的。上限是基于样本压缩概念的分布学习新技术。任何允许这种样本压缩方案的分布类都可以用很少的样本来学习。此外，如果一类分布具有这样的压缩方案，那么这些产品和混合物的类也是如此。本文主要结果的核心是证明了 R^d 中的高斯类能有效的进行样本压缩。

6.论文题目 ：Neural Ordinary Differential Equations

中文题目 ：神经常微分方程

论文作者 ：Tian Qi Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud

参与单位 ：University of Toronto

论文解读 ：本文介绍了一系列新的深度神经网络模型。本文使用神经网络参数化隐藏状态的导数，而不是指定隐藏层的离散序列。使用黑盒微分方程求解器计算网络的输出。这些连续深度模型具有恒定的内存成本，使其评估策略适应每个输入，并且可以明确地交换数值精度以获得速度。本文在连续深度残差网络和连续时间潜变量模型中证明了这些性质。本文还构建了连续归一化流，这是一种可以通过最大似然进行训练的生成模型，无需对数据维度进行分区或排序。为了训练，本文展示了如何通过任何 ODE 求解器进行可扩展反向传播，而无需访问其内部操作。这允许在较大模型中对 ODE 进行端到端训练。

7.论文题目 ：Delayed Impact of Fair Machine Learning

中文题目 ：公正机器学习的滞后影响

论文作者 ：Lydia T.Liu, Sarah Dean, Esther Rolf, Max Simchowitz, Moritz Hardt

参与单位 ：Department of Electrical Engineering and Computer Sciences, University of California, Berkeley

论文解读 ：机器学习的公平性主要在静态分类设置中得到研究，但却没有关注这些决策如何随时间改变潜在的群体。传统的观点认为公平性标准能提升他们想保护的群体的长期利益。本文研究了静态公平性标准如何与暂时的利益指标相互作用，例如利益变量的长期提升、停滞和下降。本文证实了即使在一步反馈模型中，常见的公平性准则没有随时间带来改善，实际上可能给特定案例带来了伤害。

8.论文题目 ：Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

中文题目 ：混淆梯度的虚假安全感：对抗样本防御

论文作者 ：Anish Athalye, Nicholas Carlini, David Wagner

参与单位 ：Equal contribution; Massachusetts Institute of Technology; University of California, Berkeley

论文解读 ：如果在一张图片添加干扰，可能就可以骗过分类器。为了抵御对抗样本的攻击，使得神经网络在受到迭代攻击时不受对抗样本干扰，研究人员在寻找强大的对抗样本防御器，使其在面对基于优化的攻击之下，可以实现对对抗样本的鲁棒性防御。

9.论文题目 ：Safe and Nested Subgame Solving for Imperfect-Information Games

中文题目 ：不完全信息博弈的安全嵌套子博弈求解

论文作者 ：Noam Brown, Tuomas Sandholm

参与单位 ：Computer Science Department, Carnegie Mellon University

论文解读 ：和完美信息博弈不同，不完美信息博弈不能通过将博弈分解为可独立求解的子博弈而求得占优策略。因此本文越来越多地使用计算密集的均衡判定技术，并且所有的决策必须将博弈的策略当作一个整体。本文提出了一种无论在理论上还是在实践上都超越了之前方法的子博弈求解技术。本文还展示了如何对它们和以前的子博弈求解技术进行调整，以对超出初始行动提取（original action abstraction）的对手的行动做出应答；这远远超越了之前的顶尖方法，即行动转化（action translation）。最后，本文展示了当博弈沿着博弈树向下进行时，子博弈求解可能会重复进行，从而大大降低可利用性。

10.论文题目 ：Variance-based Regularization with Convex Objectives

中文题目 ：带有凸对象的基于方差的正则化方法

论文作者 ：Hongseok Namkoong, John Duchi

参与单位 ：Stanford University

论文解读 ：本文研究了一种风险最小化和随机优化的方法，该方法可以为方差提供一个凸属性的替代项，并允许在逼近和估计误差间实现近似最优与高效计算间的权衡。本文的方法建立在分布鲁棒性优化和 Owen 经验性似然度的基础上，并提供了一些有限样本（finite-sample）和渐进结果以展示估计器的理论性能。具体来说，本文证明了该过程具有最优性保证（certificates of optimality），并通过逼近和最优估计误差间良好的权衡在更一般的设定下比经验风险最小化方法有更快的收敛率。本文还给出了确凿的经验性证据，表明估计器在实践中会在训练样本的方差和绝对性能之间进行权衡。此外，估计器也会提升标准经验风险最小化方法在许多分类问题上的测试性能。

11.论文题目 ：A Linear-Time Kernel Goodness-of-Fit Test

中文题目 ：一种线性时间核的拟合优度测试方法

论文作者 ：Wittawat Jitkrittum, Wenkai Xu, Zoltan Szabo, Kenji Fukumizu, Arthur Gretton

参与单位 ：Gatsby Unit, UCL; CMAP, École Polytechnique

论文解读 ：本文提出了一个全新的拟合优度（goodness-of-fit）的适应性测试法，其中计算资源的消耗与样本数呈线性关系。本文通过最小化假负类率来学习最能展示观察样本和参考模型之间差异的测试特征。这些特征是通过 Stein 法构造的——这意味着没有必要计算模型的归一化常数。本文分析了新测试的 Bahadur 渐进效率，并证明了在均值偏移（mean-shift）的情况下，无论选择哪个测试参数，本文的测试总是比先前的线性时间核测试具有更高的相对效率。在高维和模型结构可用的情况下，本文的拟合优度测试在模型中抽取样本，表现远远超越基于最大平均差异（Maximum Mean Discrepancy）的二次时序双样本测试。

12.论文题目 ：Understanding Black-box Predictions via Influence Functions

中文题目 ：利用影响函数理解黑箱预测

论文作者 ：Pang Wei Koh, Percy Liang

参与单位 ：Stanford University

论文解读 ：这篇论文利用影响函数（稳健统计学中的经典技术），通过学习算法跟踪模型的预测并追溯到训练数据，从而确定对给定预测影响最大训练点来解释黑箱模型的预测。为了将影响函数扩展到现代机器学习中，论文中设计了一个简单高效的实验，仅需梯度 oracle 访问和 Hessian 矢量积。而且即使在非凸和非微分模型上，影响函数的近似值算法仍然可以提供有价值的信息。在线性模型和卷积神经网络中，论文中也证明，影响函数可用于理解模型行为，调试模型，检测数据集错误，甚至是生成视觉上无法区分的训练集攻击。

13.论文题目 ：Value Iteration Networks

中文题目 ：价值迭代网络

论文作者 ：Aviv Tamar, Yi Wu, Garrett Thomas, Sergey Levine, Pieter Abbeel

参与单位：Dept. of Electrical Engineering and Computer Sciences, UC Berkeley

论文解读：本文介绍了一个价值迭代网络（VIN）：一种完全可微分的神经网络，内置“规划模块”。VIN 可以学习计划，并且适用于预测涉及基于计划的推理的结果，例如加强学习的政策。我们的方法的关键是一种新的可微近似值迭代算法，它可以表示为卷积神经网络，并使用标准的反向传播训练端到端。本文基于离散和连续路径规划域以及基于自然语言的搜索任务评估基于 VIN 的策略。本文表明，通过学习一个明确的规划计算，VIN 策略可以更好地推广到新的、未发现的领域。

14.论文题目 ：Matrix Completion has No Spurious Local Minimum

中文题目 ：矩阵填充没有假的局部最小值

论文作者 ：Rong Ge, Jason Lee, Tengyu Ma

参与单位 ：Duke University; University of Southern California; Princeton University

论文题目 ：矩阵填充是一个基本的机器学习问题，具有广泛的应用，尤其是在协作过滤和推荐系统中。简单的非凸优化算法在实践中很流行且有效。我们证明了用于矩阵填充的常用非凸目标函数没有假的局部最小值——所有局部最小值也必须是全局的。因此，许多流行的优化算法（例如随机梯度下降）可以通过多项式时间内的任意初始化可证明地解决矩阵填充问题。当观察到的条目包含噪声时，结果可以推广到该设置。我们认为，我们的主要证明策略对于理解其他涉及部分或嘈杂观测值的统计问题的几何性质很有用。

15.论文题目 ：Interactive musical improvisation with Magenta

中文题目 ：基于 Magenta 的即兴音乐交互体验

论文作者 ：Adam Roberts, Jesse Engel, Curtis Hawthorne, Ian Simon, Elliot Waite, Sageev Oore, Natasha Jaques, Cinjon Resnick, Douglas Eck

参与单位 ：Google Brain; Dalhousie University; MIT

论文解读 ：作者结合了基于 LSTM 的循环神经网络和 Deep Q-learning 建立了实时生成音乐序列。LSTM 的任务是学习音乐评分（编码为 MIDI，而不是音频文件）的一般结构。Deep Q-learning 用来改进基于奖励的序列，如期望的类型，组成正确性和预测人类协作者演奏的内容。基于 RNN 模型的生成与强化学习的结合是一种生成音乐的全新方式。这种方式比单独使用 LSTM 更为稳定，生成的音乐更加好听。该方法有两个任务：生成对短旋律输入的响应，以及实时生成对旋律输入的伴奏，持续对未来输出进行预测。本方法在 TensorFlow 中加入了一个全新的 MIDI 接口产生即兴的音乐体验，让使用者可以与神经网络实时交互。

16.论文题目 ：Ensuring Rapid Mixing and Low Bias for Asynchronous Gibbs Sampling

中文题目 ：确保异步吉布斯采样的快速混合和低偏差

论文作者 ：Christopher De Sa, Kunle Olukotun, Christopher Ré

参与单位 ：Stanford University

论文解读 ：吉布斯采样（Gibbs Sampling）是一种常被用于估计边缘分布（marginal distribution）的马尔可夫链蒙特卡罗技术（Markov chain Monte Carlo technique）。为了加速吉布斯采样，人们最近产生了通过异步执行并行处理它的兴趣。尽管一些经验结果表明许多模型都可以有效地进行异步采样，但传统的马尔克夫链分析却无法应用于异步的情况，因此对异步吉布斯采样只有很少的了解。在这篇论文中，我们设法更好地了解了异步吉布斯的两个主要挑战：偏差（bias）和混合时间（mixing time）。我们通过实验证明了我们的理论结果是符合实际结果的。

17.论文题目 ：Pixel Recurrent Neural Networks

中文题目 ：像素循环神经网络

论文作者 ：Aaron van den Oord, Nal Kalchbrenner, Koray Kavukcuoglu

参与单位 ：Google DeepMind

论文解读 ：在无监督学习中，给自然图像分布建模是一个里程碑式的问题。这项任务要求得到可以同时表现图像、易于处理并且具备可扩展性的图像模型。我们展示了一个可以沿二维空间维度依次预测图像中像素的深度神经网络。我们的方法建立了原始像素值的离散概率模型，并且编码了图像中完整的依赖关系集合。该架构的不同之处在于它包括快速二维循环层（recurrent layers）和对深度循环网络中残差连接（residual connections）的有效利用。我们完成了自然图像上的对数似然分数，其比之前最先进的还要好很多。我们主要的成果还包括提供多样化的 ImageNet 数据集基准。从模型中生成了新鲜多样且全局同一的样本。此论文提出了一系列生成模型，可直接对像素的统计依赖关系进行建模。这些模型包括两个 PixelRNN：Row LSTM 和 Diagonal BiLSTM（区别主要在于它们进行预测使用到的条件信息所在的领域）；一个 PixelCNN，以及一个多尺度 PixelRNN。

18.论文题目 ：Dueling Network Architectures for Deep Reinforcement Learning

中文题目 ：深度强化学习中的竞争网络架构

论文作者 ：Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot, Nando de Freitas

参与单位 ：Google DeepMind

论文解读 ：近几年，已经有很多在强化学习中使用深度表征获得成功的例子。然而，这些应用中的很多例子仍然使用传统的架构，比如卷积网络、LSTMs，或者是自动编码器。在此论文中，我们提出了一个新的用于无模型（model free）强化学习的神经网络架构。我们的竞争网络（dueling network)表示了两种独立的评估量：一个用于状态价值函数（state value function)，一个用于状态依存动作优势函数（state-dependent action advantage function）。这一分解的主要好处是在没有将任何变化强加于低层的强化学习算法的情况下，在动作（action）间归纳学习。我们的结果显示，这一架构在多种价值相似的动作面前能引发更好的政策评估。此外，这一竞争架构使得我们的强化学习代理胜过 Atari 2600 领域最前沿的研究。在这篇论文中，作者基于分开建模状态值和动作优势的想法，提出了一款可供选择的用于深度 Q 网络（DQN）的架构和相关的学习方案。当被应用于 Atari 学习环境（Atari Learning Environment）基准时，这项技术显著推进了当前最先进的研究成果。

19.论文题目 ：A Nearly-Linear Time Framework for Graph-Structured Sparsity

中文题目 ：图结构稀疏性的近似线性时间框架

论文作者 ：Hegde, Chinmay, Indyk, Piotr, Schmidt, Ludwig

参与单位 ：Massachusetts Institute of Technology

论文解读 ：本文引入了一个通过图定义的稀疏结构框架。其方法较灵活，并且推广到了以前研究过的几个稀疏模型。此外，本文还为该稀疏度模型提供了有效的投影算法，该模型几乎在线性时间内运行。在稀疏恢复的背景下，本文证明了该框架在理论上实现了广泛参数下的信息最优样本复杂性。本文用实验来补充该理论分析，证明该算法在实践中也改进了先前的工作。

20.论文题目 ：Optimal and Adaptive Algorithms for Online Boosting

中文题目 ：Online Boosting的优化和自适应算法

论文作者 ：Alina Beygelzimer, Satyen Kale, Haipeng Luo

参与单位 ：Yahoo Labs; Princeton University

论文解读 ：我们学习在线促进，这是一项将任何一个弱的在线学习者转变为强的在线学习者的任务。基于对网络学习能力弱的一个新的自然定义，我们开发了两种在线增强算法。第一种算法是在线版本的 Boost by Majority。通过证明一个匹配下界，我们证明了该算法对于弱学习者的数量和达到指定精度所需的样本复杂度是本质上最优的。然而，这种优化算法并不具有自适应性。利用在线损失最小化的工具，推导了一种无参数但非最优的自适应在线增强算法。这两种算法都与基础学习者一起工作，基础学习者可以直接处理示例重要性权重，也可以使用升迁者定义的概率拒绝抽样示例。结果与广泛的实验研究相辅相成。

近期精彩集锦（点击蓝色字体跳转阅读）：

公众号对话框回复“ 2020科技趋势 ”，获取 《2020科技趋势报告》 完整版PDF！

公众号对话框回复“ AI女神 ”，获取 《人工智能全球最具影响力女性学者报告》 完整版！

公众号对话框回复“ AI10 ”，获取 《浅谈人工智能下一个十年》 主题演讲PPT！

公众号对话框回复“ GNN ”，获取 《图神经网络及认知推理》 主题演讲PPT！

公众号对话框回复“ 学术搜索 ”，获取 《人工智能之学术搜索》 报告完整版！

公众号对话框回复“ AI指数 ”，获取 《2019人工智能指数报告》 完整版PDF！

公众号对话框回复“ 3D视觉 ”，获取 《3D视觉技术白皮书》 完整版PDF！