近期必读的5篇顶会WWW 2021【对比学习（CL）】相关论文和代码

【导读】CCF A类会议，国际万维网大会WWW 2021（The Web Conference）已于2021年4月23日落幕。今年共有1736 篇长论文投稿，接收357篇，接收率为20.6%；WWW（The International World Wide Web Conference）会议是由图灵奖得主Tim创办的学术会议，内容涵盖互联网相关的一切主题。会议原定在斯洛文尼亚首都卢布尔雅那举行，后由于疫情改为线上会议。

为此，专知小编为大家整理了五篇WWW 2021对比学习（Contrastive Learning）在数据挖掘、Graph、药物推荐、序列推荐等的最新进展，这块发展更新及其迅速，考验研究者的手速了！

WWW2021GNNRS、CVPR2021DA、CVPR2021IVC、CVPR2021PID、CVPR2021IC、CVPR2021VU、CVPR2021OD、CVPR2021OT、CVPR2021AR

1. Time Series Change Point Detection with Self-Supervised Contrastive Predictive Coding

作者：Shohreh Deldari, Daniel V. Smith, Hao Xue, Flora D. Salim

摘要：变化点检测方法（Change Point Detection , CPD）识别与时间序列数据的趋势和特性变化相关的时间，以描述系统的潜在行为。例如，检测与 Web 服务使用、应用程序使用或人类行为相关的变化和异常可以为下游建模任务提供有价值的见解。本文提出了一种基于对比预测编码（TS-CP2）的自监督时间序列变化点检测方法。TS - CP2 是第一种采用对比学习策略进行 CPD 的方法，它通过学习嵌入表示，将时间相邻间隔的嵌入对与跨时间分离的间隔嵌入对分开。通过在三个广泛使用的时间序列数据集的大量实验，证明本文的方法优于五种最先进的 CPD 方法，其中包括无监督和半监督方法。TS - CP2将使用手工统计或时间特征的方法的性能提高了79.4%，将基于深度学习的方法的性能提高 17.0%，相对于三个数据集的平均 F1 分数。

论文： https://www.zhuanzhi.ai/paper/ef3bbf8d0afdbfb7f119b6cbb4a9bf30

2. Multi-view Graph Contrastive Representation Learning for Drug-Drug Interaction Prediction

作者：Yingheng Wang, Yaosen Min, Xin Chen, Ji Wu

摘要：潜在的药物相互作用 (Drug-Drug Interactions, DDI) 在用药物组合治疗复杂或共存的疾病时发生，这可能会导致药物的药理活性发生变化。因此，DDI 预测一直是医疗健康机器学习领域的重要任务。基于图的学习方法最近引起了广泛的关注，并被证明是这项任务的先驱工作。然而，这些方法通常仅限于利用视图间药物分子结构的相互关系，并忽略药物的视图内相互作用关系，这对于捕获复杂的 DDI 模式至关重要。本研究提出了一种基于多视图图对比表示学习的药物相互作用预测新方法：MIRACLE，可以同时捕获分子间的视图间分子结构和视图内相互作用。MIRACLE 将 DDI 网络视为多视图graph，其中交互图中的每个节点本身都是一个药物分子图实例。本文使用 GCN 对 DDI 关系进行编码，并使用一种关系感知注意力的消息传播方法在 MIRACLE 学习阶段捕获药物分子结构信息。此外，本文提出了一种新颖的无监督对比学习组件来平衡和整合多视图信息。在多个真实数据集的综合实验表明，MIRACLE 始终优于最先进的 DDI 预测模型。

论文： https://www.zhuanzhi.ai/paper/60e34925ef83710eaad29b0e40d124c9

3. Graph Contrastive Learning with Adaptive Augmentation

作者：Yanqiao Zhu, Yichen Xu, Feng Yu, Qiang Liu, Shu Wu, Liang Wang

摘要：

最近，对比学习（CL）已成为无监督图表示学习的成功方法。大多数图 CL 方法首先对输入图执行随机增强，以获得两个图视图，并最大化两个视图中表示的一致性。尽管图 CL 方法得到了蓬勃发展，但图增强方案的设计——CL中的一个关键组成部分——仍然很少被探索。我们认为数据增强方案应该保留图的内在结构和属性，这将迫使模型学习对不重要节点和边上的扰动不敏感的表示。然而，大多数现有方法采用统一的数据增强方案，如统一丢弃边和统一打乱特征，导致性能欠佳。在本文中，提出了一种自适应增强的新型图对比表示学习方法，该方法结合了图的拓扑和语义方面的各种先验。具体来说，在拓扑层次上，设计了基于节点中心性度量的增强方案，以突出重要的连接结构。在节点属性层次上，通过向不重要的节点特征添加更多噪声来破坏节点特征，以强制模型识别潜在的语义信息。我们对各种真实世界的数据集进行了广泛的节点分类实验。实验结果表明，本文方法始终优于现有的最先进基线方法，甚至超过了一些有监督的基线，这验证了所提出的自适应增强的对比框架的有效性。

论文： https://www.zhuanzhi.ai/paper/04db5d621979458090af1482b1b4ef8f

4. CLEAR: Contrastive-Prototype Learning with Drift Estimation for Resource Constrained Stream Mining

作者：Zhuoyi Wang, Yuqiao Chen, Chen Zhao, Yu Lin, Xujiang Zhao, Hemeng Tao, Yigong Wang, Latifur Khan

摘要：非平稳数据流挖掘旨在对连续出现的大规模在线实例进行分类。与离线学习方式相比，最明显的挑战是在处理非静态类别分布时，新类别的不断涌现问题。非平稳流设置经常出现在现实世界的应用程序中，例如电子商务系统中涉及传入产品的在线分类，或社交网络 (Twitter) 上的新闻主题摘要。理想情况下，学习模型应该能够从标记数据（在新任务中）学习新概念并减少模型性能在旧概念上的突然退化（也称为灾难性遗忘问题）。这项工作专注于在资源受限的情况下提高流挖掘方法的性能，其中旧数据的内存资源和标记的新实例都是有限/稀缺的。本文提出了一个简单而有效的资源受限框架 CLEAR，以促进单次流挖掘期间遇到的的先前挑战。具体来说，CLEAR 专注于在嵌入空间中创建和校准类表示（原型）。我们首先在大量未标记的数据上应用对比原型学习，并为嵌入空间中的每个类生成判别原型。接下来，为了更新新的任务/类别，本文提出了一种漂移估计策略来校准/补偿每个类表示的漂移，这可以在不存储任何先前数据的情况下减少知识遗忘。本文在流设置下对公共数据集（例如 CUB200、CIFAR100）进行了实验，本文的方法在内存和注释限制上，始终且明显优于许多最先进的方法。

论文： https://dl.acm.org/doi/abs/10.1145/3442381.3449820

5. Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation

作者：Zhe Xie, Chengxuan Liu, Yichi Zhang, Hongtao Lu, Dong Wang, Yue Ding

摘要：序列推荐作为一个新兴的研究课题，因其重要的现实意义而受到越来越多的关注。基于深度学习和注意力机制的模型在序列推荐方面取得了良好的效果。最近，基于变分自编码器（VAE）的生成模型在协同过滤中显示出独特的优势。特别是，序列 VAE 模型作为 VAE 的循环版本，可以有效地捕获用户序列中项目之间的时间依赖性并执行序列推荐。然而，基于 VAE 的模型存在一个共同的局限性，即所获得的近似后验分布的表示能力有限，导致生成的样本质量较低。对于生成序列尤其如此。为了解决上述问题，本文提出了一种名为Adversarial and Contrastive Variational Autoencoder (ACVAE) 的新方法，用于序列推荐。具体来说，本文首先在对抗变分贝叶斯 (AVB) 框架下介绍了序列生成的对抗性训练，这使本文模型能够生成高质量的潜在变量。然后，我们使用对比损失。通过最小化对比损失，潜在变量将能够学习更多个性化和显着的特征。此外，在对序列进行编码时，本文应用循环和卷积结构来捕获序列中的全局和局部关系。最后，本文对四个真实世界的数据集进行了广泛的实验。实验结果表明，本文提出的 ACVAE 模型优于其他最先进的方法。

论文： https://www.zhuanzhi.ai/paper/8ce90daf786c65c9c363b16c60ac6c2e