We consider adversarial training of deep neural networks through the lens of Bayesian learning, and present a principled framework for adversarial training of Bayesian Neural Networks (BNNs) with certifiable guarantees. We rely on techniques from constraint relaxation of non-convex optimisation problems and modify the standard cross-entropy error model to enforce posterior robustness to worst-case perturbations in $\epsilon$-balls around input points. We illustrate how the resulting framework can be combined with methods commonly employed for approximate inference of BNNs. In an empirical investigation, we demonstrate that the presented approach enables training of certifiably robust models on MNIST, FashionMNIST and CIFAR-10 and can also be beneficial for uncertainty calibration. Our method is the first to directly train certifiable BNNs, thus facilitating their deployment in safety-critical applications.


翻译:我们从贝叶斯学习的角度考虑对深神经网络进行对抗性培训,为巴伊西亚神经网络的对抗性培训提供一个原则框架,提供可验证的保障;我们依靠限制性技术,缓解非康威克斯优化问题,并修改标准的跨热带错误模式,将后身强力强力强力强力强力强力强力强力强力强力强到输入点周围最坏情况的扰动;我们说明如何将由此产生的框架与通常用于大致推断巴伊西亚神经网络的方法相结合;在一项实证调查中,我们证明,所提出的方法能够培训可验证的多国空间信息系统、时尚MINIS和CIFAR-10型模型,也有利于不确定性校准,我们的方法是直接培训可验证的班尼特球,从而便利在安全关键应用中部署这些模型。

0
下载
关闭预览

相关内容

【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年4月5日
Arxiv
0+阅读 · 2021年4月3日
Feature Denoising for Improving Adversarial Robustness
Arxiv
15+阅读 · 2018年12月9日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
4+阅读 · 2018年4月30日
Arxiv
4+阅读 · 2018年4月26日
Arxiv
3+阅读 · 2018年1月10日
VIP会员
相关VIP内容
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
相关论文
Arxiv
0+阅读 · 2021年4月5日
Arxiv
0+阅读 · 2021年4月3日
Feature Denoising for Improving Adversarial Robustness
Arxiv
15+阅读 · 2018年12月9日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
4+阅读 · 2018年4月30日
Arxiv
4+阅读 · 2018年4月26日
Arxiv
3+阅读 · 2018年1月10日
Top
微信扫码咨询专知VIP会员