主题: Manifold Regularization for Adversarial Robustness

摘要: 流形正则化是一种在输入数据的内在几何上惩罚学习函数复杂性的技术。我们发展了一个与“局部稳定”学习函数的联系,并提出了一个新的正则化项来训练对一类局部扰动稳定的深度神经网络。这些正则化器使我们能够训练一个网络,使其在CIFAR-10上达到70%的最新鲁棒精度,以对抗PGD敌手,使用大小为8/255的ϵ∞扰动。此外,我们的技术不依赖于任何对抗性例子的构造,因此比对抗性训练的标准算法运行速度快几个数量级。

成为VIP会员查看完整内容
0
22

相关内容

题目: Smooth Adversarial Training

摘要:

人们通常认为,网络不能兼具准确性和鲁棒性,获得鲁棒性意味着失去准确性。还普遍认为,除非扩大网络规模,否则网络架构元素对提高对抗性的健壮性影响不大。本文通过对对抗训练的仔细研究,提出了挑战这些共同信念的证据。主要观察结果是,广泛使用的ReLU激活功能由于其不平滑的特性而大大削弱了对抗训练。因此,提出了平滑对抗训练(SAT),在其中我们用ReLU平滑近似代替了ReLU,以加强对抗训练。SAT中平滑激活函数的目的是使它能够找到更难的对抗示例,并在对抗训练期间计算出更好的梯度更新。与标准的对抗训练相比,SAT提高了“free”的对抗鲁棒性,即准确性没有降低,计算成本也没有增加。例如,在不引入其他计算的情况下,SAT可将ResNet-50的鲁棒性从33.0%提高到42.3%,同时还将ImageNet的准确性提高0.9%。SAT在较大的网络上也能很好地工作:它可以帮助EfficientNet-L1在ImageNet上实现82.2%的准确性和58.6%的鲁棒性,在准确性和鲁棒性方面分别比以前的最新防御提高9.5%和11.6%。

成为VIP会员查看完整内容
0
35

主题: TOPOLOGY OF DEEP NEURAL NETWORKS

摘要: 我们研究数据集M=Ma∪Mb⊆Rd的拓扑结构如何表示二进制分类问题中的两个类别a和b,如何通过经过良好训练的神经网络的层而发生变化,即在训练集和接近零的泛化误差(≈0.01%)。目的是揭示深层神经网络的两个奥秘:(i)像ReLU这样的非平滑激活函数要优于像双曲正切这样的平滑函数; (ii)成功的神经网络架构依赖于多层结构,即使浅层网络可以很好地近似任意函数。我们对大量点云数据集的持久同源性进行了广泛的实验,无论是真实的还是模拟的。结果一致地证明了以下几点:(1)神经网络通过更改拓扑结构来运行,将拓扑复杂的数据集在穿过各层时转换为拓扑简单的数据集。无论M的拓扑多么复杂,当通过训练有素的神经网络f:Rd→Rp时,Ma和Mb的贝蒂数都会大大减少;实际上,它们几乎总是减小到可能的最低值:对于k≥1和β0(f(Mi))= 1,i = a,b,βk(f(Mi))= 0。此外,(2)ReLU激活的Betti数减少比双曲线切线激活快得多,因为前者定义了改变拓扑的非同胚映射,而后者定义了保留拓扑的同胚映射。最后,(3)浅层和深层网络以不同的方式转换数据集-浅层网络主要通过更改几何结构并仅在其最终层中更改拓扑来运行,而深层网络则将拓扑变化更均匀地分布在所有层中。

成为VIP会员查看完整内容
0
21

对抗攻击的最新进展揭示了现代深层神经网络的内在弱点。从那时起,人们就致力于通过专门的学习算法和损失函数来增强深度网络的鲁棒性。在这项工作中,我们从体系结构的角度研究了网络体系结构的模式,这些模式对对抗攻击具有弹性。为了获得本研究所需的大量网络,我们采用单次神经结构搜索,对一个大网络进行一次训练,然后对采样的子网络进行细化。采样的结构及其实现的精度为我们的研究提供了丰富的基础。我们的“健壮架构Odyssey”揭示了几个有价值的观察结果:1)紧密连接的模式提高了健壮性;2)在计算预算下,直接连接边加入卷积运算是有效的;3)求解过程流(FSP)矩阵是网络鲁棒性的良好指标。基于这些观察,我们发现了一系列健壮的体系结构(RobNets)。在各种数据集上,包括CIFAR、SVHN、Tiny-ImageNet和ImageNet,与其他广泛使用的体系结构相比,RobNets具有更好的健壮性性能。值得注意的是,在白盒和黑箱攻击下,即使参数数更少,RobNets也能显著提高鲁棒精度(~5%的绝对增益)。

成为VIP会员查看完整内容
0
24

标题

对抗特征幻觉网络的小样本学习,Adversarial Feature Hallucination Networks for Few-Shot Learning

关键字

小样本学习,神经网络,生成对抗网络,机器学习,人工智能

简介

最近在各种任务中进行的深度学习蓬勃发展,在很大程度上已经获得了丰富且可访问的标记数据的认可。 尽管如此,对于许多实际应用而言,大量的监督仍然是奢侈的事情,这引起了人们对标签稀缺技术的极大兴趣,例如小样本学习(FSL),旨在通过少量标签样本学习新类的概念。 FSL的自然方法是数据扩充,许多最近的工作通过提出各种数据综合模型证明了其可行性。 但是,这些模型不能很好地确保合成数据的可分辨性和多样性,因此经常会产生不良结果。 在本文中,我们提出了基于条件Wasserstein生成对抗网络(cWGAN)的对抗特征幻觉网络(AFHN),并幻化了以少量标记样本为条件的各种和判别特征。 两种新颖的正则化器,即分类正则器和反崩溃正则器,被合并到AFHN中以分别促进合成特征的可辨别性和多样性。 消融研究验证了所提出的基于cWGAN的特征幻觉框架和所提出的调节器的有效性。 在三个常见基准数据集上的比较结果证实了AFHN优于现有的基于数据增强的FSL方法和其他最新方法的优越性。

作者

Kai Li, Yulun Zhang, Kunpeng Li, Yun Fu,波士顿东北大学电气与计算机工程系

成为VIP会员查看完整内容
0
41

题目: Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

摘要: 贝叶斯神经网络(BNNs)训练来优化整个分布的权重,而不是一个单一的集合,在可解释性、多任务学习和校准等方面具有显著的优势。由于所得到的优化问题的难解性,大多数BNNs要么通过蒙特卡罗方法采样,要么通过在变分近似上最小化一个合适的样本下界(ELBO)来训练。在这篇论文中,我们提出了后者的一个变体,其中我们用最大平均偏差(MMD)估计器代替了ELBO项中的Kullback-Leibler散度,这是受到了最近的变分推理工作的启发。在根据MMD术语的性质提出我们的建议之后,我们接着展示了公式相对于最先进的公式的一些经验优势。特别地,我们的BNNs在多个基准上实现了更高的准确性,包括多个图像分类任务。此外,它们对权重上的先验选择更有鲁棒性,而且它们的校准效果更好。作为第二项贡献,我们提供了一个新的公式来估计给定预测的不确定性,表明与更经典的标准(如微分熵)相比,它在对抗攻击和输入噪声的情况下表现得更稳定。

成为VIP会员查看完整内容
0
41

Dropout是一种广泛使用的正则化技术,通常需要为许多体系结构获得最先进的技术。这项工作表明,dropout引入了两种截然不同但相互纠缠的正则化效应:由于dropout修改了预期的训练目标而产生的显式效应(在之前的工作中也研究过),以及可能令人惊讶的是,dropout训练更新中的随机性带来的另一种隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机度效应。我们通过控制实验把这两种效应分开。然后,我们推导出分析的简化,用模型的导数和损失来描述每个影响,对于深度神经网络。我们证明了这些简化的、解析的正则化器准确地捕获了辍学的重要方面,表明它们在实践中忠实地替代了dropout。

成为VIP会员查看完整内容
0
23

题目:* Certified Adversarial Robustness with Additive Noise

摘要:

对抗性数据实例的存在引起了深度学习社区的高度重视;相对于原始数据,这些数据似乎受到了最小程度的干扰,但从深度学习算法得到的结果却非常不同。尽管已经考虑了开发防御模型的大量工作,但大多数此类模型都是启发式的,并且常常容易受到自适应攻击。人们对提供理论鲁棒性保证的防御方法进行了深入的研究,但是当存在大规模模型和数据时,大多数方法都无法获得非平凡的鲁棒性。为了解决这些限制,我们引入了一个可伸缩的框架,并为构造对抗性示例提供了输入操作规范的认证边界。我们建立了对抗扰动的鲁棒性与加性随机噪声之间的联系,并提出了一种能显著提高验证界的训练策略。我们对MNIST、CIFAR-10和ImageNet的评估表明,该方法可扩展到复杂的模型和大型数据集,同时对最先进的可证明防御方法具有竞争力的鲁棒性。

作者简介:

Changyou Chen是纽约州立大学布法罗分校计算机科学与工程系的助理教授,研究兴趣包括贝叶斯机器学习、深度学习和深度强化学习。目前感兴趣的是:大规模贝叶斯抽样和推理、深度生成模型,如VAE和GAN、用贝叶斯方法进行深度强化学习。

成为VIP会员查看完整内容
0
28
小贴士
相关资讯
ICLR2019 图上的对抗攻击
图与推荐
12+阅读 · 2020年3月15日
【泡泡点云时空】PointConv: 3D点云的深度卷积网络
泡泡机器人SLAM
16+阅读 · 2019年6月12日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
9+阅读 · 2019年6月9日
虚拟对抗训练:一种新颖的半监督学习正则化方法
人工智能前沿讲习班
8+阅读 · 2019年6月9日
【论文笔记】ICLR 2018 Wasserstein自编码器
专知
14+阅读 · 2018年6月29日
ICLR 2018十佳论文
论智
5+阅读 · 2017年12月4日
GANs之父Ian Goodfellow力荐:GANs的谱归一化
论智
7+阅读 · 2017年11月25日
相关论文
Feature Denoising for Improving Adversarial Robustness
Cihang Xie,Yuxin Wu,Laurens van der Maaten,Alan Yuille,Kaiming He
15+阅读 · 2018年12月9日
Adversarial Transfer Learning
Garrett Wilson,Diane J. Cook
10+阅读 · 2018年12月6日
Training Generative Adversarial Networks Via Turing Test
Jianlin Su
3+阅读 · 2018年10月25日
Ayush Jaiswal,Wael AbdAlmageed,Yue Wu,Premkumar Natarajan
3+阅读 · 2018年9月25日
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
Sudipto Mukherjee,Himanshu Asnani,Eugene Lin,Sreeram Kannan
6+阅读 · 2018年9月10日
Are Generative Classifiers More Robust to Adversarial Attacks?
Yingzhen Li,John Bradshaw,Yash Sharma
4+阅读 · 2018年7月9日
Pengda Qin,Weiran Xu,William Yang Wang
14+阅读 · 2018年5月24日
Qi Dou,Cheng Ouyang,Cheng Chen,Hao Chen,Pheng-Ann Heng
10+阅读 · 2018年4月29日
Anish Athalye,Nicholas Carlini
3+阅读 · 2018年4月10日
Ben Usman,Kate Saenko,Brian Kulis
3+阅读 · 2018年1月30日
Top