We provide a robust defence to adversarial attacks on discriminative algorithms. Neural networks are naturally vulnerable to small, tailored perturbations in the input data that lead to wrong predictions. On the contrary, generative models attempt to learn the distribution underlying a dataset, making them inherently more robust to small perturbations. We use Boltzmann machines for discrimination purposes as attack-resistant classifiers, and compare them against standard state-of-the-art adversarial defences. We find improvements ranging from 5% to 72% against attacks with Boltzmann machines on the MNIST dataset. We furthermore complement the training with quantum-enhanced sampling from the D-Wave 2000Q annealer, finding results comparable with classical techniques and with marginal improvements in some cases. These results underline the relevance of probabilistic methods in constructing neural networks and highlight a novel scenario of practical relevance where quantum computers, even with limited hardware capabilites, could provide advantages over classical computers. This work is dedicated to the memory of Peter Wittek.


翻译:我们为对歧视性算法的对抗性攻击提供了有力的防御。神经网络自然容易在输入数据中受到小的、定制的干扰,从而导致错误的预测。相反,基因模型试图学习数据集背后的分布,使其内在更加强大到小扰动。我们利用布尔茨曼机器来进行歧视,作为抵抗攻击的分类师,并对照标准的最新对抗性防御进行对比。我们发现,在使用Boltzmann机器对MNIST数据集进行攻击方面,改进幅度从5%到72%不等。我们用D-Wave 2000Q 麻醉器的量子强化取样作为培训的补充,寻找与古典技术相近的结果,有些则稍有改进。这些结果突出表明,在建造神经网络时,概率性方法具有相关性,并突出了量子计算机,即使是有限的硬件稳定剂,也能为古典计算机提供优势的新型实用情景。这项工作是专门用来纪念Peter Witek的。

0
下载
关闭预览

相关内容

玻尔兹曼机(也称为带有隐藏单元的随机Hopfield网络)是一种随机递归神经网络。这是一个马尔可夫随机场,它是从统计物理学翻译过来的,用于认知科学。Boltzmann机器基于具有外部场的随机旋转玻璃模型,即Sherrington-Kirkpatrick模型,它是随机的Ising模型,并应用于机器学习。Boltzmann机器可以看作是Hopfield网络的随机,生成对应物。它们是最早的能够学习内部表示的神经网络之一,并且能够表示和(给定足够的时间)解决组合问题。它是一类典型的随机神经网络属于反馈神经网络类型 。
专知会员服务
44+阅读 · 2020年10月31日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
【推荐】深度学习时序处理文献列表
机器学习研究会
7+阅读 · 2017年11月29日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年9月13日
Deflecting Adversarial Attacks
Arxiv
8+阅读 · 2020年2月18日
Arxiv
4+阅读 · 2018年4月30日
Arxiv
4+阅读 · 2015年3月20日
VIP会员
相关资讯
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
【推荐】深度学习时序处理文献列表
机器学习研究会
7+阅读 · 2017年11月29日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员