解读！北邮、西电、DeepMind等8篇NeurIPS 2019论文合集

2019 年 11 月 21 日 学术头条

NeurIPS 2019即将于12月8日在加拿大温哥华召开，作为机器学习顶级学术会议之一，NeurIPS 2019备受瞩目。学术君整理了NeurIPS 2019 八篇录用论文，涵盖深度神经网络、生成对抗网络等多个领域内容，供大家学习参考。

Reflection Separation using a Pair of Unpolarized and Polarized Images（Spotlight论文）

作者：吕游伟，崔兆鹏，李思，Marc Pollefeys，施柏鑫（北京邮电大学，苏黎世联邦理工学院，北京大学，鹏城实验室）
论文地址：https://papers.nips.cc/paper/9598-reflection-separation-using-a-pair-of-unpolarized-and-polarized-images.pdf

该论文着眼于解决日常生活中隔着玻璃拍照时不可避免的反射干扰问题，首次提出了将一对偏振与非偏振图像（前者采集反射引起的变化，后者保证正常光照的高质量图像）作为输入用于反射消除问题，大大简化了已有方法依赖三幅或更多偏振图像的拍摄要求。

论文基于相机的偏振成像原理以及光的传播特性分析，给出拍摄图像中各个像素对应的物理参数与拍摄视角、玻璃几何位置的联系以具体化物理参数的约束，进而提取出更能有效被神经网络学习的参量；同时基于偏振成像原理提出了新的数据生成方案，设计了相应的神经网络结构从混合图像中分离出干净的背景层与反射层。该方法的实用拍摄方式与有效消除算法有望应用于手机、监控等设备的智能图像增强。

Memory-oriented Decoder for Light Field Salient Object Detection

（Poster论文）

作者：张淼，李婧婧，冀炜，朴永日，卢湖川（大连理工大学）
论文地址：https://papers.nips.cc/paper/8376-memory-oriented-decoder-for-light-field-salient-object-detection.pdf

该项研究创新性地将4D光场数据与深度神经网络结合在一起，设计了一个记忆力导向的解码器去充分融合4D光场和RGB图像之间的互补信息。启发于光场数据丰富的空间信息和多聚集信息，专门设计了基于记忆力导向的空间融合模块去加权不同光场特征的优势，并且利用可卷积的长短期记忆力网络去总结不同光场特征之间的空间关系，然后通过设计全局感知模块和深层监督机制去加强特征的高阶信息并且使网络更加清晰地学习有用特征。在最后的解码阶段，设计了一个记忆导向的特征整合模块，利用递归的注意力网络去逐步提高网络的定位能力，并且优化结果的空间细节，同时也是此领域首次使用递归的网络结构进行解码网络。

此外，该项研究提供了一个大规模的4D光场数据集，为深度学习在光场显著性领域的应用提供了重要的数据支撑，解决了目前光场数据匮乏的问题。并且通过三个公共数据集上的大量实验证明，该方法优于目前最先进的25个显著性物体检测方法，尤其是在复杂场景中。

MarginGAN：Adversarial Training in Semi-Supervised Learning（Poster论文）

论文作者：董谨豪，Tong Lin（西安电子科技大学，北京大学，鹏城实验室）
论文地址：https://papers.nips.cc/paper/9231-margingan-adversarial-training-in-semi-supervised-learning.pdf

论文提出了一种新颖的三组件生成对抗网络模型MarginGAN，从分类间隔的角度，解决半监督学习中由于伪标签不准确而损害分类器性能的问题，提高半监督学习的准确率。MarginGAN由生成器、判别器和分类器三组件组成，生成器除了像传统GAN一样与判别器进行对抗，同时还与分类器进行对抗，生成器最大化所生成图片的间隔，而分类器减少该间隔。

Episodic Memory in Lifelong Language Learning（Poster论文）

作者：Cyprien de Masson d'Autume，Sebastian Ruder，Lingpeng Kong，Dani Yogatama (DeepMind)
论文地址：https://papers.nips.cc/paper/9471-episodic-memory-in-lifelong-language-learning.pdf

本文引入了一种终身语言学习机制，模型可以从没有任何数据标注的文本实例流中学习。其关键部分是一个执行稀疏经验重放和局部适应的记忆模型，它可以减轻灾难性遗忘。文本分类和问答实验证明了稀疏经验重放和局部自适应的互补优势，使该模型能够不断地从新的数据集中学习。实验表明，随机选择要存储在内存中的示例，在性能降低最小的情况下，可以显著降低场景存储模块的空间复杂度（50-90%）。情景记忆成分是通用语言智能的重要组成部分，本文提出的模型是朝此方向迈出的第一步。

Numerically Accurate Hyperbolic Embeddings Using Tiling-Based Models （Spotlight论文）

作者：Tao Yu，Chris De Sa（康奈尔大学）
论文地址：https://papers.nips.cc/paper/8476-numerically-accurate-hyperbolic-embeddings-using-tiling-based-models.pdf

利用双曲空间嵌入层次型数据（如图、树）时，可以取得出色的性能，但在使用浮点数表示双曲空间中的点时，嵌入误差受浮点运算误差影响将会无限变大。为解决这个问题，作者提出双曲空间新模型，利用整数平铺来表示双曲空间，并具有可证明的有界数值误差。该模型可以使用普通32位浮点数来获得同等高精度浮点嵌入表现，同时能够以较少空间储存嵌入。通过一系列实验评估该模型，不仅有效压缩双曲嵌入（将WordNet嵌入压缩至原先2%），也可以学习更精确的嵌入（将Mammals嵌入表现提高10%）。

A New Defense Against Adversarial Images：Turning a Weakness into a Strength（ Poster论文）

作者：Shengyuan Hu，Tao Yu，Chuan Guo，Wei-Lun Chao，Kilian Q. Weinberger（康奈尔大学，俄亥俄州立大学）
论文地址：https://papers.nips.cc/paper/8441-a-new-defense-against-adversarial-images-turning-a-weakness-into-a-strength.pdf

在利用神经网络进行分类时，自然图像的周围存在一些低密度错误分类区域，使用基于梯度的方法有效搜寻可以导致对抗样本的存在。虽然许多用于检测这些攻击的方法被提出，但是当攻击者完全了解检测机制并相应调整攻击策略时，这些方法很容易被再次攻破。

作者采用一种新颖的视角，将对抗方向的无处不在视为优点而非弱点。假设一张图像被篡改，这些对抗方向要么变得难以用梯度方法找到，要么将具有比自然图像更高的密度。针对此特征，作者开发了一种实用测试方法以成功的检测对抗攻击，并在攻击者充分了解检测机制的白盒的情景下，实现了前所未有的准确性。

Learning to Confuse：Generating Training Time Adversarial Data with Auto-Encoder（ Poster论文）

作者：Ji Feng，QiZhi Cai ，ZhiHua Zhou（南京大学，创新工场）
论文地址：https://papers.nips.cc/paper/9368-learning-to-confuse-generating-training-time-adversarial-data-with-auto-encoder.pdf

这篇论文围绕现阶段人工智能系统的安全性展开研究，具体而言，文章提出了高效生成对抗训练数据的最先进方法之一——DeepConfuse，通过劫持神经网络的训练过程，教会噪声生成器为训练样本添加一个有界的扰动，使得该训练样本训练得到的机器学习模型在面对测试样本时，泛化能力尽可能地差，非常巧妙地实现了「数据下毒」。

这一技术的研究并不单单是为了揭示类似的 AI 入侵或攻击技术对系统安全的威胁，而是致力于在深入研究相关的入侵或攻击技术的基础上，有针对性地制定防范「AI 黑客」的完善方案，对 AI 安全攻防这一前沿研究方向的推动与发展具有积极指导作用。

从实验数据可以发现，在 MNIST、CIFAR-10 以及缩减版的 IMAGENET 这些不同数据集上，使用「未被下毒」的训练数据集和「中毒」的训练数据集所训练的系统模型在分类精度上存在较大的差异，效果非常可观。

Optimal Stochastic and Online Learning with Individual Iterates（Spotlight论文）

论文作者：雷云文，杨鹏，唐珂，周定轩（南方科技大学，凯泽斯劳藤大学，香港城市大学）
论文地址：https://papers.nips.cc/paper/8781-optimal-stochastic-and-online-learning-with-individual-iterates.pdf

机器学习中模型的训练往往可转化为优化问题，随机优化算法提供了求解大规模优化问题的简单有效策略。求解速度和稀疏性是评价算法性能的两个重要指标。经典的随机优化算法需要牺牲稀疏性来实现最优求解速度，或者牺牲算法效率来实现稀疏性。研究团队对随机优化算法进行了精致的分析，提出了能够在保证模型稀疏性的同时实现最优求解速度的随机优化算法，并通过非平凡的理论分析和实验验证了算法的性能。