直播预告 | ICML22 11位一作学者分享GNN等前沿研究

会员服务 ·

直播预告 | ICML22 11位一作学者分享GNN等前沿研究

2022 年 8 月 7 日 图与推荐

8月11日10:00，本期我们邀请到ICML 2022的11位讲者给大家带来精彩的分享！

哔哩哔哩直播通道

扫码关注AI TIME哔哩哔哩官方账号预约直播

8月11日 10:00-10:20

讲者简介

汪文潇：

马里兰大学博士生，导师为Soheil Feizi；20年本科毕业于清华大学交叉信息研究院。(详见https://wangwenxiao.github.io)

分享内容

对数据投毒的改进可验证防御—Finite Aggregation

报告简介

数据投毒攻击通过对训练数据集进行修改以达到操纵模型行为的目的。如何有保证地防御这样的攻击？对于任意一个测试样本，如何保证无论训练集被注入或者移除了一些任意的数据，模型都能给出一致的预测？报告将讲解论文《Improved Certified Defenses against Data Poisoning with (Deterministic) Finite Aggregation》，其中我们提出了对原先SOTA防御的有效改进，一致地提高了对数据投毒攻击的可验证的鲁棒性。

8月11日 10:20-10:40

讲者简介

刘猛：

德州农工大学博士生，师从Shuiwang Ji教授。主要研究方向为图深度学习，AI for Science，生成模型。主页：https://mengliu1998.github.io。

分享内容

GraphBP：生成与目标蛋白结合的3D分子

报告简介

设计与特定目标蛋白结合的分子是药物发现的一个重大研究课题。针对这个问题，我们提出基于机器学习的GraphBP方法。GraphBP通过将特定类型和位置的原子一个一个地放置到给定的结合位点来生成与给定蛋白质结合的 3D 分子。具体来说，GraphBP采用3D图神经网络来提取当前语义信息，然后通过自回归流模型依次生成原子。同时，GraphBP在生成分子的过程中考虑了3D空间中的旋转平移等边性。实验表明，GraphBP可以有效的生成具有与目标蛋白结合能力的分子。代码链接：https://github.com/divelab/GraphBP。

8月11日 10:40-11:00

讲者简介

余兆宁：

爱荷华州立大学博士生，导师为Hongyang Gao教授，主要研究方向为图深度学习，可解释性分析。主页：https://zhaoningyu1996.github.io/

分享内容

通过异构子图神经网络进行分子表示学习

报告简介

图神经网络已广泛用于分子图的特征表示学习。然而，大多数现有方法单独处理分子图，忽略分子图之间的关联，例如通过共有子图（motif）建立的关系。针对这个问题，我们提出了一种基于构建异构子图的分子图表示学习方法。具体来说，我们构建了一个包含子图节点和分子节点的异构图。每个子图节点对应于从分子中提取的一个常见子图（motif）。然后，我们使用一个异构神经网络（HM-GNN）来学习异构图中每个节点的特征表示。实验表明我们模型所提取的分子和常见子图（motif）之间的信息传递能够帮助分子特征表示的学习。

8月11日 11:00-11:20

讲者简介

金汶功：

现为Broad Institute博士后研究员。于2021年从麻省理工学院获得博士学位，师从Regina Barzilay教授和Tommi Jaakkola教授。主要研究方向包括图神经网络，图生成模型，几何深度学习，和计算生物。

分享内容

运用等变神经网络预测抗体抗原3D结构

报告简介

抗体与抗原的结合力取决于他们的3D几何结构，尤其是抗体结合部（paratope）与抗原结合部（epitope）的相互作用。因此，预测 3D paratope-epitope complex是找到抗体设计的关键。在本文中，我们提出了一种新模型，称为分层等变细化网络 (HERN)，用于3D paratope-epitope complex的预测。HERN采用分层图神经网络来预测原子力，并使用它们以迭代、等变的方式预测结合3D结构。我们的结果表明HERN在3D几何结构预测上明显优于先前的最新技术。

8月11日 11:20-11:40

讲者简介

徐兆卓：

现为莱斯大学(Rice University)计算机系在读博士生，师从Anshumali Shrivastava教授。主要研究方向为哈希算法及其在大规模机器学习中的应用，研究成果发表于NeurIPS，ICML，ICLR, KDD，EMNLP，WSDM等顶级会议。2021年获Ken Kennedy研究所英国石油奖研金。

分享内容

DRAGONN：一种大规模神经网络分布式随机梯度近似方法

报告简介

数据并行的分布式训练模式是目前硬件加速大规模神经网络模型训练的主流模式。然而，该模式依赖于频繁的模型参数同步传输，带来了极高的通信开销。为解决这一效率瓶颈，梯度稀疏化方法被广泛应用于压缩梯度张量以降低通信开销。然而，我们发现梯度稀疏化方法带来的压缩代价随着梯度张量的增加而线性增加，甚至可能超过了通信代价。鉴此，本文提出一种并行随机哈希算法DRAGONN，通过哈希函数预先分配读写位置，将当前梯度稀疏化方法中的串行存储读写改为并行读写，有效提升了压缩过程的运算效率。实验证明我们提出的DRAGONN算法降低了70%的读写时间，实现了3.52倍的分布式训练效率提升。本文被ICML 2022 Sparsity in Neural Network 研讨会推荐为热点论文，进行了口头报告。

8月11日 15:00-15:20

讲者简介

孙天祥：

复旦大学博士生，导师为邱锡鹏教授和黄萱菁教授，主要研究兴趣为预训练语言模型的高效微调及推理方法，作为第一作者在ICML, ACL, NAACL, AAAI, COLING等会议发表多篇论文，总被引700余次。个人主页：http://txsun1997.github.io/

分享内容

语言模型即服务与黑箱优化语言模型即服务与黑箱优化

报告简介

随着预训练语言模型的规模急剧增大，出于商业考虑及高昂的微调成本，很多大规模预训练语言模型（如GPT-3）不再开源其参数，而是以提供模型推理API的方式向下游用户提供服务，这一场景我们称为“语言模型即服务（Language-Model-as-a-Service, LMaaS）”。在本次报告中，我将介绍一种针对此场景的黑箱优化方法（Black-Box Tuning），它可以在仅访问模型推理API的情况下完成对连续提示语的优化，在少样本学习场景下达到与模型全参数微调可比的性能。相较于目前主流的梯度下降法，黑箱优化方法具有优化效率高、优化资源少的优势。

8月11日 15:20-15:40

讲者简介

汶川：

清华大学博士生

分享内容

以毒攻毒：引导深度神经网络避免优化捷径

报告简介

在监督学习的分类问题与序列决策问题中，基于深度学习的算法凭借优异的性能得到了广泛的关注与应用。然而，研究人员发现深度学习网络常常倾向于寻找“捷径”的解决方案，当数据分布与训练集有稍许偏差时，这样的捷径解常常会出现灾难性的错误。我们发现，当人们可以根据输入信号中与任务相关成分的领域知识提供提供一个额外的“引导”特征时，深度神经网络可以成功避免捷径。在实际应用中这样的领域知识非常容易定义与获取。我们根据这样的原理提出了“引导网络”(PrimeNet)，在图像分类、机器人控制和自动驾驶任务中显著超过了现有的最优方法。

8月11日 15:40-16:00

讲者简介

王希元：

北京大学博士生

分享内容

谱图神经网络有多强大

报告简介

谱图神经网络（Spectral GNN）是一种基于图信号滤波器的图神经网络，广泛应用于节点任务。大量知名的GNN可以归入谱GNN，比如ChebyNet、GCN、和BernNet，但是对谱GNN表达能力的分析一直相对欠缺。我们首先将谱GNN简化为线性GNN（Linear GNN），并证明了Linear GNN在温和条件下可以产生任意一维输出，间接给出了谱GNN的万能逼近定理。我们随后建立了谱GNN表达能力和Weisfeiler-Lehman Test之间的联系，后者常用于刻画消息传递图神经网络的表达能力。最后，我们分析了基选择的问题并提出了一种新的谱GNN－JacobiConv。JacobiConv使用Jacobi Basis，且仅使用线性层就达到了SOTA的性能。

8月11日 16:00-16:20

讲者简介

罗旭：

电子科技大学19级硕士生，主要研究方向为图像的小样本学习和表示学习，师从徐增林教授，发表论文于ICML、NeurIPS等顶级会议，担任ICML、ECCV、AAAI的审稿人。

分享内容

小样本学习中的通道偏差问题

报告简介

小样本学习 (FSL) 要求视觉模型快速适应全新的、与训练集任务分布不同的分类任务。认知这种任务分布变化怎样影响小样本学习是十分重要的。在本文中，我们发现一个仅用于测试的简单通道特征变换函数可能是解开这个秘密的关键。当在测试时面对新的少样本任务时，这个变换函数可以极大地提高图像特征的泛化能力，且与训练算法和数据集的选择无关。通过对这个变换函数的深入分析，我们发现了训练所学特征表示难以迁移的一个根本原因：通道偏差问题。通道偏差问题是指，神经网络特征表示的不同通道在不同任务中可能具有不同的重要性，而卷积神经网络可能对此不敏感，或对这种转变做出错误的反应。这个问题是当前基于神经网络的视觉预训练模型有关泛化能力的一个核心问题，在未来需要进一步的关注。

8月11日 16:20-16:40

讲者简介

黄毅男：

杜克大学硕士生，北京通用人工智能研究院实习生，研究兴趣为图神经网络。

分享内容

3DLinker：用于分子链接设计的E(3)等变变分自编码器

报告简介

深度学习在药物设计中已经取得了巨大的成功。在本篇工作中，我们聚焦于一个新的药物设计问题：链接设计 (linker design)，即生成一个linker分子来链接两个给定的fragment分子。其中，三维的几何信息扮演着重要的角色：三维信息的缺失可能会导致生成出物理上不稳定的分子，或者是无法快速适配到需要三维坐标的下游任务中。为此，我们提出了3DLinker：输入fragment分子的图和三维坐标，3DLinker可以同时生成linker分子的图和三维坐标。3DLinker使用了E(3)等变的消息传递机制，使得其生成的三维坐标等变于坐标变换，因此在三维任务中具有更好的泛化能力。实验上，我们观察到3DLinker生成的分子能更好地还原ground truth并且预测的三维坐标更加准确。

8月11日 16:40-17:00