NeurIPS 2020线上分享 | 清华朱军团队：面向鲁棒深度学习的对抗分布式训练

2020 年 11 月 24 日 机器之心

近来，深度神经网络（DNN）的突破性进展使其在诸多领域取得了巨大的成功，但应看到 DNN 在面对输入的小扰动时表现出了对抗脆弱性。为此，提升 DNN 的对抗鲁棒性至关重要，其中对抗训练（AT）是最有效的方法之一。

但是，现有的 AT 方法通常基于特定攻击算法来解决内部最大化（inner maximization）问题，有时无法很好地泛化至同一威胁模型中其他未见过的攻击。后续提出的一些方法（如 PGD 等）虽然面对常见攻击实现了 SOTA 鲁棒性，但还是会被其他攻击打败。这表明先前提出方法中的防御可能导致梯度掩蔽，并且被更强或自适应的攻击愚弄了。此外，单一的攻击算法可能不足以探索可能扰动的空间。

因此，为了进一步缓解这些问题以及提升模型面对更广泛对抗攻击的鲁棒性，在清华大学这篇被 NeurIPS 2020 会议接收的论文《Adversarial Distributional Training for Robust Deep Learning》中，研究者提出了一种名为对抗分布式训练（adversarial distributional training, ADT）的新型框架，它通过一种分布围绕着自然输入对对抗示例进行显式地建模。研究者表示，该研究提出的方法虽然取得了比以往对抗训练方法更高的自然准确率，但依然不及标准的训练模型。自然准确率的下降可能会产生一些负面结果，但对保护用户隐私而言不失为一件好事。

机器之心最新一期 NeurIPS 线上分享邀请到了论文共同一作、清华大学计算机系博士生董胤蓬，为大家详细解读此前沿研究。

分享主题： 面向鲁棒深度学习的对抗分布式训练

分享嘉宾： 董胤蓬，清华大学计算机系四年级博士生，导师为朱军教授。主要研究方向为机器学习与计算机视觉，聚焦深度学习鲁棒性的研究，先后发表 CVPR、NeurIPS、IJCV 等顶级国际会议及期刊论文十余篇，其中代表性论文 “Boosting Adversarial Attacks with Momentum” 被引用超过 500 次，并获得 VALSE 年度杰出学生论文奖（2018）。作为 Team Leader 在 Google 举办的 NeurIPS 2017 人工智能对抗性攻防大赛中获得全部三个比赛项目的冠军，并多次在极棒组织的对抗比赛中获奖。曾获得国家奖学金，清华大学未来学者奖学金、CCF-CV 学术新锐奖、微软奖学金、百度奖学金、字节奖学金等。

分享摘要： 以深度学习为代表的人工智能算法在对抗场景中的鲁棒性存在严重不足，很容易被攻击者所恶意构造的对抗样本欺骗。对抗训练通过在训练数据中加入对抗样本的方式可以有效地提升模型的鲁棒性，也是目前最有效的防御算法之一。但是大部分对抗训练算法在训练过程中通过特定的攻击方式产生对抗样本，对于其他未知攻击的防御效果无法保证，同时也不能够有效地探索对抗样本空间。

本文提出了一个新颖的训练方式—对抗分布式训练（ADT）。通过将对抗样本建模为分布的形式，学习输入数据附近的对抗样本分布形式，并利用最差情况下的分布进行训练。通过理论分析推导出 ADT 的训练算法，并提出了三种不同的方式对对抗分布进行参数化。实验结果显示在一些数据集上，本文提出的算法可以帮助训练鲁棒性更好的模型。

直播时间： 北京时间 11 月 26 日 20:00-21:00

论文链接：https://papers.nips.cc/paper/2020/file/5de8a36008b04a6167761fa19b61aa6c-Paper.pdf

加入机动组，一起看直播

「机动组」是机器之心发起的人工智能技术社区，将持续提供技术公开课、论文分享、热门主题解读等线上线下活动，并在社群中提供每日精选论文与教程、智能技术研究周报，同时「机动组」也将不定期组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。添加机器之心小助手（syncedai5），备注「2020」，加入本次直播群。