K-Nearest Neighbor (kNN)-based deep learning methods have been applied to many applications due to their simplicity and geometric interpretability. However, the robustness of kNN-based classification models has not been thoroughly explored and kNN attack strategies are underdeveloped. In this paper, we propose an Adversarial Soft kNN (ASK) loss to both design more effective kNN attack strategies and to develop better defenses against them. Our ASK loss approach has two advantages. First, ASK loss can better approximate the kNN's probability of classification error than objectives proposed in previous works. Second, the ASK loss is interpretable: it preserves the mutual information between the perturbed input and the in-class-reference data. We use the ASK loss to generate a novel attack method called the ASK-Attack (ASK-Atk), which shows superior attack efficiency and accuracy degradation relative to previous kNN attacks. Based on the ASK-Atk, we then derive an ASK-\underline{Def}ense (ASK-Def) method that optimizes the worst-case training loss induced by ASK-Atk. Experiments on CIFAR-10 (ImageNet) show that (i) ASK-Atk achieves $\geq 13\%$ ($\geq 13\%$) improvement in attack success rate over previous kNN attacks, and (ii) ASK-Def outperforms the conventional adversarial training method by $\geq 6.9\%$ ($\geq 3.5\%$) in terms of robustness improvement.


翻译:K- Nearest Neearbor (kNN) 基于 K- Neearbor (ASK) 的深层次学习方法由于简单和几何解释性而应用到许多应用中。 但是,基于 kNN 的分类模型的稳健性尚未得到彻底探讨, kNN 攻击战略也不发达。 在本文中,我们提议对设计更有效的 kNNN 攻击战略并发展更好的防御方法进行Aversarial Soft kNN(ASK) 损失。 我们的ASK损失方法有两个优点。 首先, ASK$ 损失可以比先前工程中提议的目标更接近 KNNN的分类错误概率。 其次, ASK损失是可以解释的: 它保存了在绕动输入和类内参照数据数据的数据之间的相互信息。 我们用ASK损失来生成一种叫做ASK- Atack (ASK-AK-Q) (ASQQ) AS- AS- ASQ_Q (ASQ) AS- AS- ASQ arrain agreal acrestrual destrual destrual astrual AS- AS- astrual AS- AS- AS- AS- AS- AS- ASqqqqqq) astrualemstrualemstrualemstrualemstrual destrual astrual a astrual a a astrupal astrual astrual astrit astrup AS- astrualemstrual AS- AS- AS- astrual res ag) res astr AS- astrup AS- res astr AS- a re restr res a a a a restr res a res a res a a res a trem a a a a a a AS- agalemstremstremstrememstremstrem AS- a a a a a trememememememememememem a a a a a a a a a a tremememem a a a a a a AS- a tremem AS- a a a a a a a a a a a

0
下载
关闭预览

相关内容

“知识神经元网络”KNN(Knowledge neural network)是一种以“神经元网络”模型 为基础的知识组织方法。 在“知识神经元网络”KNN 中,所谓的“知识”,是描述一个“知识”的文本,如一个网页、Word、PDF 文档等。
专知会员服务
16+阅读 · 2021年8月6日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【SIGIR2020】学习词项区分性,Learning Term Discrimination
专知会员服务
15+阅读 · 2020年4月28日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
74+阅读 · 2020年4月24日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年11月29日
Arxiv
12+阅读 · 2020年12月10日
Arxiv
5+阅读 · 2020年6月16日
Deflecting Adversarial Attacks
Arxiv
8+阅读 · 2020年2月18日
Adversarial Metric Attack for Person Re-identification
Arxiv
7+阅读 · 2018年6月8日
VIP会员
相关VIP内容
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
0+阅读 · 2021年11月29日
Arxiv
12+阅读 · 2020年12月10日
Arxiv
5+阅读 · 2020年6月16日
Deflecting Adversarial Attacks
Arxiv
8+阅读 · 2020年2月18日
Adversarial Metric Attack for Person Re-identification
Arxiv
7+阅读 · 2018年6月8日
Top
微信扫码咨询专知VIP会员