题目: Smooth Adversarial Training

摘要:

人们通常认为,网络不能兼具准确性和鲁棒性,获得鲁棒性意味着失去准确性。还普遍认为,除非扩大网络规模,否则网络架构元素对提高对抗性的健壮性影响不大。本文通过对对抗训练的仔细研究,提出了挑战这些共同信念的证据。主要观察结果是,广泛使用的ReLU激活功能由于其不平滑的特性而大大削弱了对抗训练。因此,提出了平滑对抗训练(SAT),在其中我们用ReLU平滑近似代替了ReLU,以加强对抗训练。SAT中平滑激活函数的目的是使它能够找到更难的对抗示例,并在对抗训练期间计算出更好的梯度更新。与标准的对抗训练相比,SAT提高了“free”的对抗鲁棒性,即准确性没有降低,计算成本也没有增加。例如,在不引入其他计算的情况下,SAT可将ResNet-50的鲁棒性从33.0%提高到42.3%,同时还将ImageNet的准确性提高0.9%。SAT在较大的网络上也能很好地工作:它可以帮助EfficientNet-L1在ImageNet上实现82.2%的准确性和58.6%的鲁棒性,在准确性和鲁棒性方面分别比以前的最新防御提高9.5%和11.6%。

成为VIP会员查看完整内容
0
30

相关内容

题目: Adversarial Training for Large Neural Language Models

简介: 泛化性和鲁棒性都是设计机器学习方法的关键要求。对抗性训练可以增强鲁棒性,但是过去的工作常常发现它不利于推广。在自然语言处理(NLP)中,预训练大型神经语言模型(例如BERT)在针对各种任务的通用化方面显示出令人印象深刻的收益,而从对抗性微调中得到了进一步的改进。但是,这些模型仍然容易受到对抗性攻击。在本文中,我们表明对抗性预训练可以同时提高泛化性和鲁棒性。我们提出了一种通用算法ALUM(大型神经语言模型的专家训练),该算法通过在嵌入空间中应用扰动来最大化训练目标,从而使对抗性损失最大化。我们将对所有阶段的对抗训练进行全面的研究,包括从头开始进行预训练,在训练有素的模型上进行连续的预训练以及针对特定任务的微调。在常规和对抗性方案中,在各种NLP任务上,ALUM都比BERT获得了可观的收益。即使对于已经在超大型文本语料库上进行过良好训练的模型(例如RoBERTa),ALUM仍可以通过连续的预训练获得可观的收益,而传统的非对抗方法则不能。可以将ALUM与特定于任务的微调进一步结合以获取更多收益。

成为VIP会员查看完整内容
0
34

题目: Supervised Contrastive Learning

简介: 交叉熵是在图像分类模型的有监督训练中使用最广泛的损失函数。在本文中,我们提出了一种新颖的训练方法,该方法在跨不同体系结构和数据扩充的监督学习任务上始终优于交叉熵。我们修改了批处理的对比损失,最近已证明该方法对于在自我监督的情况下学习强大的表示非常有效。因此,我们能够比交叉熵更有效地利用标签信息。属于同一类别的点的群集在嵌入空间中聚在一起,同时将不同类别的样本群集推开。除此之外,我们还利用了关键成分,例如大批处理量和标准化的嵌入,这些成分已显示出对自我监督学习的好处。在ResNet-50和ResNet-200上,我们的交叉熵均超过1%,在使用AutoAugment数据增强的方法中,新的技术水平达到了78.8%。损失还显示出明显的好处,即可以在标准基准和准确性方面提高对自然基准的自然破坏的鲁棒性。与交叉熵相比,我们监督的对比损失对于诸如优化器或数据增强之类的超参数设置更稳定。

成为VIP会员查看完整内容
0
9

许多深度神经网络的训练算法可以解释为最小化网络预测与目标分布之间的交叉熵损失。在监督学习中,这种目标分布通常是一个one hot向量。在半监督学习中,这种目标分布通常是由一个预先训练好的教师模型来训练主网络生成的。在这项工作中,我们没有使用这种预定义的目标分布,而是证明了学习根据主网络的学习状态来调整目标分布可以获得更好的性能。特别地,我们提出了一种有效的元学习算法,该算法鼓励教师以改善主网络学习的方式来调整训练样本的目标分布。教师通过在一个预定的验证集上评估主网络计算出的策略梯度来更新。我们的实验证明了在强基线上的重大改进,并在CIFAR-10、SVHN和ImageNet上建立了最新的性能。例如,使用小型数据集上的ResNets,我们在CIFAR-10上实现了96.1%(包含4,000个标记示例),在ImageNet上实现了73.9%(包含10%示例)的top-1。同时,在完整的数据集上加上额外的未标记数据,我们在CIFAR-10上获得98.6%的准确率,在ImageNet上获得86.9%的top-1的准确率。

成为VIP会员查看完整内容
0
24

主题: Manifold Regularization for Adversarial Robustness

摘要: 流形正则化是一种在输入数据的内在几何上惩罚学习函数复杂性的技术。我们发展了一个与“局部稳定”学习函数的联系,并提出了一个新的正则化项来训练对一类局部扰动稳定的深度神经网络。这些正则化器使我们能够训练一个网络,使其在CIFAR-10上达到70%的最新鲁棒精度,以对抗PGD敌手,使用大小为8/255的ϵ∞扰动。此外,我们的技术不依赖于任何对抗性例子的构造,因此比对抗性训练的标准算法运行速度快几个数量级。

成为VIP会员查看完整内容
0
20

题目

自监督图像分类:Self-training with Noisy Student improves ImageNet classification

关键字

图像分类,自监督学习,计算机视觉,深度学习,人工智能

简介

我们提出了一种简单的自我训练方法,该方法可在ImageNet上达到88.4%的top-1准确性,这比要求3.5B弱标记Instagram图像的最新模型高2.0%。在健壮性测试集上,它将ImageNet-A top-1的准确性从61.0%提高到83.7%,将ImageNet-C的平均损坏错误从45.7降低到28.3,并将ImageNet-P的平均翻转率从27.8降低到12.2。

为了获得此结果,我们首先在标记的ImageNet图像上训练EfficientNet模型,并将其用作教师,以在300M未标记的图像上生成伪标记。然后,我们将更大的EfficientNet训练为带有标记和伪标记图像组合的学生模型。我们通过让学生作为老师来迭代此过程。在伪标签的生成过程中,不会对教师产生干扰,从而使伪标签尽可能准确。但是,在学生学习期间,我们通过RandAugment向学生注入诸如辍学,随机深度和数据增强之类的噪声,从而使学生的普遍性优于老师。

作者

Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le

成为VIP会员查看完整内容
0
40

题目:* Certified Adversarial Robustness with Additive Noise

摘要:

对抗性数据实例的存在引起了深度学习社区的高度重视;相对于原始数据,这些数据似乎受到了最小程度的干扰,但从深度学习算法得到的结果却非常不同。尽管已经考虑了开发防御模型的大量工作,但大多数此类模型都是启发式的,并且常常容易受到自适应攻击。人们对提供理论鲁棒性保证的防御方法进行了深入的研究,但是当存在大规模模型和数据时,大多数方法都无法获得非平凡的鲁棒性。为了解决这些限制,我们引入了一个可伸缩的框架,并为构造对抗性示例提供了输入操作规范的认证边界。我们建立了对抗扰动的鲁棒性与加性随机噪声之间的联系,并提出了一种能显著提高验证界的训练策略。我们对MNIST、CIFAR-10和ImageNet的评估表明,该方法可扩展到复杂的模型和大型数据集,同时对最先进的可证明防御方法具有竞争力的鲁棒性。

作者简介:

Changyou Chen是纽约州立大学布法罗分校计算机科学与工程系的助理教授,研究兴趣包括贝叶斯机器学习、深度学习和深度强化学习。目前感兴趣的是:大规模贝叶斯抽样和推理、深度生成模型,如VAE和GAN、用贝叶斯方法进行深度强化学习。

成为VIP会员查看完整内容
0
23

We propose a flipped-Adversarial AutoEncoder (FAAE) that simultaneously trains a generative model G that maps an arbitrary latent code distribution to a data distribution and an encoder E that embodies an "inverse mapping" that encodes a data sample into a latent code vector. Unlike previous hybrid approaches that leverage adversarial training criterion in constructing autoencoders, FAAE minimizes re-encoding errors in the latent space and exploits adversarial criterion in the data space. Experimental evaluations demonstrate that the proposed framework produces sharper reconstructed images while at the same time enabling inference that captures rich semantic representation of data.

0
4
下载
预览

We introduce an effective model to overcome the problem of mode collapse when training Generative Adversarial Networks (GAN). Firstly, we propose a new generator objective that finds it better to tackle mode collapse. And, we apply an independent Autoencoders (AE) to constrain the generator and consider its reconstructed samples as "real" samples to slow down the convergence of discriminator that enables to reduce the gradient vanishing problem and stabilize the model. Secondly, from mappings between latent and data spaces provided by AE, we further regularize AE by the relative distance between the latent and data samples to explicitly prevent the generator falling into mode collapse setting. This idea comes when we find a new way to visualize the mode collapse on MNIST dataset. To the best of our knowledge, our method is the first to propose and apply successfully the relative distance of latent and data samples for stabilizing GAN. Thirdly, our proposed model, namely Generative Adversarial Autoencoder Networks (GAAN), is stable and has suffered from neither gradient vanishing nor mode collapse issues, as empirically demonstrated on synthetic, MNIST, MNIST-1K, CelebA and CIFAR-10 datasets. Experimental results show that our method can approximate well multi-modal distribution and achieve better results than state-of-the-art methods on these benchmark datasets. Our model implementation is published here: https://github.com/tntrung/gaan

0
9
下载
预览
小贴士
相关资讯
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
8+阅读 · 2019年2月13日
一文读懂图像压缩算法
七月在线实验室
11+阅读 · 2018年5月2日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
9+阅读 · 2017年10月23日
GAN猫的脸
机械鸡
9+阅读 · 2017年7月8日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
12+阅读 · 2017年6月9日
相关论文
Deflecting Adversarial Attacks
Yao Qin,Nicholas Frosst,Colin Raffel,Garrison Cottrell,Geoffrey Hinton
5+阅读 · 2020年2月18日
Chengxiang Yin,Jian Tang,Zhiyuan Xu,Yanzhi Wang
4+阅读 · 2018年6月8日
Han Zhang,Ian Goodfellow,Dimitris Metaxas,Augustus Odena
5+阅读 · 2018年5月21日
Pierre-Luc Dallaire-Demers,Nathan Killoran
3+阅读 · 2018年4月30日
Jiyi Zhang,Hung Dang,Hwee Kuan Lee,Ee-Chien Chang
4+阅读 · 2018年4月4日
Shaohui Liu,Yi Wei,Jiwen Lu,Jie Zhou
3+阅读 · 2018年3月27日
Ngoc-Trung Tran,Tuan-Anh Bui,Ngai-Man Cheung
9+阅读 · 2018年3月23日
Zhiming Zhou,Han Cai,Shu Rong,Yuxuan Song,Kan Ren,Weinan Zhang,Yong Yu,Jun Wang
4+阅读 · 2018年1月30日
Chaowei Xiao,Bo Li,Jun-Yan Zhu,Warren He,Mingyan Liu,Dawn Song
8+阅读 · 2018年1月15日
Antonia Creswell,Anil Anthony Bharath
6+阅读 · 2018年1月4日
Top