近期必读的六篇ICLR 2021【对比学习（CL）】相关论文和代码

【导读】第九届国际学习表征大会（ICLR 2021）是深度学习领域的国际顶级会议，ICLR 2021一共有2997论文有效提交，大会最终接收860篇论文，其中 Oral 53 篇、Spotlight 114 篇，大会将于5月4-8日于线上举办。ICLR 采用公开评审（Open Review ）机制。所有提交的论文都会公开，并且接受所有同行的评审及提问，任何学者都可或匿名或实名地评价论文。而在初审公开之后，论文作者也能够对论文进行调整和修改以及进行Rebuttal。近期，小编发现对比学习（Contrastive Learning）相关的接受paper非常多，对比学习这几年方法的研究，特别是难样本的选取机制以及在CV、NLP、DM上应用也非常广，也是当前比较火的topic。

为此，这期小编为大家奉上ICLR 2021必读的六篇对比学习相关论文——稠密文本检索、对比扰动学习、难样本对比学习、变换不变性、GAN增强

ICLR 2021 Accepted Papers : https://openreview.net/group?id=ICLR.cc/2021/Conference

AAAI2021QA、AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval

作者：Lee Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin Liu, Paul N. Bennett, Junaid Ahmed, Arnold Overwikj

摘要：在稠密的表示空间中进行文本检索一般效果还不错。然而，端到端的学习稠密检索（DR）通常比不上基于单词的稀疏检索。在本文中，我们首先从理论上说明稠密检索的学习瓶颈是对局部采样的非信息性负数进行控制，这会导致梯度范数减小，随机梯度方差大，学习收敛速度慢。然后，我们提出“近似最近邻居负对比学习”（Approximate nearest neighbor Negative Contrastive Learning, ANCE），这是一种使用异步更新的ANN索引从整个语料库中全局选择难训练否定词的学习机制。我们的实验证明了ANCE在网络搜索，问答以及商业搜索环境中的有效性，还表明ANCE点积检索几乎与基于BERT的级联IR管道的准确性相匹配，而效率却高出100倍。我们还从经验上验证了我们的理论，即使用ANCE进行负采样可以更好地近似基于oracle梯度范数的重要性采样，从而提高了随机训练的收敛性。

图片 网址：

https://openreview.net/forum?id=zeFrfgyZln

**2. Contrastive Learning with Adversarial Perturbations for Conditional Text Generation **

作者：Seanie Lee, Dong Bok Lee, Sung Ju Hwang

摘要：最近，具有Transformer结构的序列到序列（seq2seq）模型在各种条件文本生成任务（例如机器翻译）上都取得了卓越的性能。但是，大多数训练中，每个步骤都使用给定的 ground truth 标签，而在训练过程中没有显示其错误生成的词（tokens），这不利于将其推广到未知的输入上，这就是所谓的“曝光偏差”问题。在这项工作中，我们建议通过将正对与负对进行对比来缓解条件文本生成问题，从而使模型暴露于输入的各种有效或不正确的扰动下，以提高通用性。但是，使用简单的对比学习框架（使用随机的非目标序列作为否定示例）来训练模型是次优的，因为它们很容易与正确的输出区分开，尤其是在使用大型文本语料库进行预训练的模型中。同样，生成肯定的示例需要特定于域的增强启发方法，这些启发方法可能不会在不同的域中泛化。为了解决这个问题，我们提出了一种方法来生成正样本和负样本，用于seq2seq模型的对比学习。具体而言，我们通过在输入序列中添加较小的扰动以最小化其条件可能性来生成否定示例，并通过在施加较大的扰动的同时将其强制具有较高的条件可能性来生成正示例。使用我们的方法生成的这种“难”正负对可以指导模型更好地区分正确的输出和错误的输出。实验表明，我们提出的方法在三个文本生成任务（机器翻译，文本摘要和问题生成）上显着提高了seq2seq的泛化能力。

图片 网址：

https://openreview.net/forum?id=Wga_hrCa3P3

3. Contrastive Learning with Hard Negative Samples

作者：Joshua David Robinson, Ching-Yao Chuang, Suvrit Sra, Stefanie Jegelka

摘要：我们考虑这样一个问题：如何为对比学习采样较好的负例？我们认为，与度量学习一样，学习对比表示得益于难否定样本（即难以与锚点区分开的点）。使用难负样本的主要挑战在于，对比方法必须保持不受监督，这使得采用现有的使用真实相似性信息的负采样策略不可行。因此，我们提出了一种新的无监督方法来选择难负样本，用户可以在其中控制难负样本的数量。这种采样的局限性导致表示会紧密地聚类每个类，并将不同的类推到尽可能远的距离。所提出的方法提高了跨多种模式的下游性能，仅需要执行少量额外的代码行即可，并且不会产生计算开销。

图片 网址：

https://openreview.net/forum?id=CR1XOQ0UTh-

**4. Improving Transformation Invariance in Contrastive Representation Learning **

作者：Adam Foster, Rattana Pukdee, Tom Rainforth

摘要：我们提出了一些方法来增强通过对比学习获得的表示的不变性。尽管现有的方法在学习表示形式时会隐含地引起一定程度的不变性，但我们希望在编码过程中更直接地强制不变性。为此，我们首先介绍一个对比学习的训练目标，该目标使用一种新颖的正则化器来控制表示如何在变换下发生变化。我们显示，以此目标训练的表示在下游任务上表现更好，并且在测试时对引入有损的变换器更鲁棒。其次，我们提出了一种更改测试时间表示方式的方法，该方法是引入一种特征平均方法，将原始输入的多次转换中的编码进行组合，这会带来全面的性能提升。最后，我们介绍了新颖的Spirograph数据集，以在具有多个下游任务的可微分生成过程的背景下探索我们的想法，表明我们的学习不变性技术非常有益。

图片 网址：

https://openreview.net/forum?id=NomEDgIEBwE

**5. Training GANs with Stronger Augmentations via Contrastive Discriminator **

作者：Jongheon Jeong, Jinwoo Shin

摘要：生成式对抗网络（GAN）中的最新工作正在积极地重新审视各种数据增强技术，以防止判别器过度拟合。但是，还不清楚哪些增强可以真正改善GAN，特别是如何在训练中应用更多的增强方式。在本文中，我们提出了一种新颖的方法来解决这些问题，将最新的对比表示学习方案整合到判别器中，即被称为ContraD。这种“融合”使鉴别人员可以进行更强大的扩增，而不会造成灾难性的遗忘，从而可以显着改善GAN训练。甚至更好的是，我们观察到对比学习本身也受益于GAN训练，即保持真实样本与假样本之间的区别性特征，表明这两个方式具有很强的连贯性：良好的对比表示对GAN判别器也有好处，反之亦然。我们的实验结果表明，与其他最近使用数据增强的技术相比，具有ContraD的GAN一直在提高FID分数，就线性评估而言，仍然在判别器中保持高度鉴别性。最后，作为副产品，我们证明了以无监督方式（无标签）训练的GAN可以利用ContraD的学习功能，通过简单的潜在采样来诱导许多条件生成模型。

图片 网址：

https://openreview.net/forum?id=eo6U4CAwVmg

6. What Should Not Be Contrastive in Contrastive Learning

作者：Tete Xiao, Xiaolong Wang, Alexei A Efros, Trevor Darrell

摘要：最近的自监督对比方法已经能够通过学习不依赖于不同的数据扩充来产生令人印象深刻的可转移视觉表示。但是，这些方法隐式地假设了一组特定的表示不变性（例如，颜色不变性），并且当下游任务违反该假设时（例如，区分红色和黄色的汽车），效果可能会很差。我们引入了一个对比性学习框架，该框架不需要特定的，与任务相关的不变性的先验知识。我们的模型通过构建单独的嵌入空间来学习捕获视觉表示的变化和不变因素，每个嵌入空间除了一个扩充之外，其他所有空间都不变。我们使用具有共享主干的多头网络，该主干可以捕获每个扩充中的信息，并且其性能要优于下游任务的所有基准。我们进一步发现，在我们研究的所有任务（包括粗粒度，细粒度和few-shot分类任务）以及各种数据损坏中，不变空间和变化空间的串联效果最佳。

图片 网址：

https://openreview.net/forum?id=CZ8Y3NzuVzO