【表示学习(Representation Learning)】8篇 NeurIPS 2019论文选读

NeurIPS 2019（Neural Information Processing Systems）将在12月8日-14日在加拿大温哥华举行。NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一，每年全球的人工智能爱好者和科学家都会在这里聚集，发布最新研究。今天小编整理了表示学习相关论文。

1. Self-attention with Functional Time Representation Learning

作者： Da Xu, Chuanwei Ruan, Evren Korpeoglu, Sushant Kumar, Kannan Achan

摘要：在自然语言处理中，具有self-attention的序列模型已经取得了很好的效果。self-attention具有模型灵活性、计算复杂性和可解释性等优点，正逐渐成为事件序列模型的重要组成部分。然而，像大多数其他的序列模型一样，自我注意并不能解释事件之间的时间跨度，因此它捕捉的是序列信号而不是时间模式。在不依赖递归网络结构的情况下，self-attention通过位置编码来识别事件的顺序。为了弥补时间无关和时间相关事件序列建模之间的差距，我们引入了一个嵌入时间跨度到高维空间的功能特征映射。通过构造相关的平移不变时间核函数，揭示了经典函数函数分析结果下特征图的函数形式，即Bochner定理和Mercer定理。我们提出了几个模型来学习函数性时间表示以及与事件表示的交互。这些方法是在各种连续时间事件序列预测任务下对真实数据集进行评估的。实验结果表明，所提出的方法与基线模型相比，具有更好的性能，同时也能捕获有用的时间-事件交互。
论文链接：
https://papers.nips.cc/paper/9720-self-attention-with-functional-time-representation-learning

2. Large Scale Adversarial Representation Learning

作者：Jeff Donahue, Karen Simonyan

摘要：对抗训练生成模型(GANs)最近取得了引人注目的图像合成结果。GANs在无监督的表现学习中尽管在早期取得了的成功，但是它们已经被基于自监督的方法所取代。在这项工作中，我们证明了图像生成质量的进步转化为极大地改进了表示学习性能。我们的方法BigBiGAN建立在最先进的BigGAN模型之上，通过添加编码器和修改鉴别器将其扩展到表示学习。我们广泛地评估了这些BigBiGAN模型的表示学习和生成能力，证明了这些基于生成的模型在ImageNet的无监督表示学习方面达到了最新的水平，并在无条件生成图像方面取得了令人信服的结果。

论文链接： https://papers.nips.cc/paper/9240-large-scale-adversarial-representation-learning

3. Rethinking Kernel Methods for Node Representation Learning on Graphs

作者：Yu Tian, Long Zhao, Xi Peng, Dimitris Metaxas

摘要：图核是度量图相似性的核心方法，是图分类的标准工具。然而，作为与图表示学习相关的一个问题，使用核方法进行节点分类仍然是不适定的，目前最先进的方法大多基于启发式。在这里，我们提出了一个新的基于核的节点分类理论框架，它可以弥补这两个图上表示学习问题之间的差距。我们的方法是由图核方法驱动的，但是扩展到学习捕获图中结构信息的节点表示。我们从理论上证明了我们的公式与任何半正定核一样强大。为了有效地学习内核，我们提出了一种新的节点特征聚合机制和在训练阶段使用的数据驱动的相似度度量。更重要的是，我们的框架是灵活的，并补充了其他基于图形的深度学习模型，如图卷积网络(GCNs)。我们在一些标准节点分类基准上对我们的方法进行了经验评估，并证明我们的模型设置了最新的技术状态。
论文链接： https://papers.nips.cc/paper/9342-rethinking-kernel-methods-for-node-representation-learning-on-graphs

4. Continual Unsupervised Representation Learning

作者：Dushyant Rao, Francesco Visin, Andrei Rusu, Razvan Pascanu, Yee Whye Teh, Raia Hadsell

摘要：持续学习旨在提高现代学习系统处理非平稳分布的能力，通常是通过尝试按顺序学习一系列任务。该领域的现有技术主要考虑监督或强化学习任务，并经常假设对任务标签和边界有充分的认识。在这项工作中，我们提出了一种方法(CURL)来处理一个更普遍的问题，我们称之为无监督连续学习。重点是在不了解任务身份的情况下学习表示，我们将探索任务之间的突然变化、从一个任务到另一个任务的平稳过渡，甚至是数据重组时的场景。提出的方法直接在模型中执行任务推断，能够在其生命周期内动态扩展以捕获新概念，并结合其他基于排练的技术来处理灾难性遗忘。我们用MNIST和Omniglot演示了CURL在无监督学习环境中的有效性，在这种环境中，没有标签可以确保没有关于任务的信息泄露。此外，与现有技术相比，我们在i.i.中表现出了较强的性能。在i.i.d的设置下，或将该技术应用于监督任务(如渐进式课堂学习)时。 论文链接： https://papers.nips.cc/paper/8981-continual-unsupervised-representation-learning

5. Unsupervised Scalable Representation Learning for Multivariate Time Series

作者： Jean-Yves Franceschi, Aymeric Dieuleveut, Martin Jaggi

摘要：由于时间序列在实际应用中具有高度可变的长度和稀疏标记，因此对机器学习算法而言，时间序列是一种具有挑战性的数据类型。在本文中，我们提出了一种学习时间序列通用嵌入的无监督方法来解决这一问题。与以前的工作不同，它的长度是可伸缩的，我们通过深入实验和比较来展示学习表示的质量、可移植性和实用性。为此，我们将基于因果扩张卷积的编码器与基于时间负采样的新三重态损耗相结合，获得了可变长度和多元时间序列的通用表示。
论文链接： https://papers.nips.cc/paper/8713-unsupervised-scalable-representation-learning-for-multivariate-time-series

6. A Refined Margin Distribution Analysis for Forest Representation Learning

作者：Shen-Huan Lyu, Liang Yang, Zhi-Hua Zhou

摘要：在本文中，我们将森林表示学习方法casForest作为一个加法模型，并证明当与边际标准差相对于边际均值的边际比率足够小时，泛化误差可以以O(ln m/m)为界。这激励我们优化比例。为此，我们设计了一种边际分布的权重调整方法，使深林模型的边际比较小。实验验证了边缘分布与泛化性能之间的关系。我们注意到，本研究从边缘理论的角度对casForest提供了一个新的理解，并进一步指导了逐层的森林表示学习。

论文链接： https://papers.nips.cc/paper/8791-a-refined-margin-distribution-analysis-for-forest-representation-learning

7. Adversarial Fisher Vectors for Unsupervised Representation Learning

作者：Shuangfei Zhai, Walter Talbott, Carlos Guestrin, Joshua Susskind

摘要：我们通过基于深度能量的模型(EBMs)来研究生成对抗网络(GANs)，目的是利用从这个公式推导出的密度模型。与传统的鉴别器在达到收敛时学习一个常数函数的观点不同，这里我们证明了它可以为后续的任务提供有用的信息，例如分类的特征提取。具体来说，在EBM公式中，鉴别器学习一个非归一化密度函数(即，负能量项)，它描述了数据流形。我们建议通过从EBM中获得相应的Fisher分数和Fisher信息来评估生成器和鉴别器。我们证明了通过假设生成的示例形成了对学习密度的估计，费雪信息和归一化费雪向量都很容易计算。我们还证明了我们能够推导出例子之间和例子集之间的距离度量。我们进行的实验表明，在分类和感知相似性任务中，甘氏神经网络诱导的费雪向量作为无监督特征提取器表现出了竞争力。代码地址：https://github.com/apple/ml-afv。
论文链接： https://papers.nips.cc/paper/9295-adversarial-fisher-vectors-for-unsupervised-representation-learning

8. vGraph: A Generative Model for Joint Community Detection and Node Representation Learning

作者：Fan-Yun Sun, Meng Qu, Jordan Hoffmann, Chin-Wei Huang, Jian Tang

摘要：本文重点研究了图数据分析的两个基本任务:社区检测和节点表示学习，它们分别捕获图数据的全局结构和局部结构。在现有的文献中，这两个任务通常是独立研究的，但实际上是高度相关的。提出了一种协作学习社区成员和节点表示的概率生成模型vGraph。具体地说，我们假设每个节点都可以表示为群落的混合，并且每个群落都定义为节点上的多项分布。混合系数和群落分布均由节点和群落的低维表示参数化。我们设计了一种有效的变分推理算法，通过反向传播进行优化，使相邻节点的社区成员关系在潜在空间中相似。在多个真实图上的实验结果表明，vGraph在社区检测和节点表示学习两方面都非常有效，在两方面都优于许多有竞争力的基线。结果表明，该vGraph框架具有良好的灵活性，可以方便地扩展到层次社区的检测。
论文链接： https://papers.nips.cc/paper/8342-vgraph-a-generative-model-for-joint-community-detection-and-node-representation-learning