Backdoor attacks have been shown to be a serious threat against deep learning systems such as biometric authentication and autonomous driving. An effective backdoor attack could enforce the model misbehave under certain predefined conditions, i.e., triggers, but behave normally otherwise. However, the triggers of existing attacks are directly injected in the pixel space, which tend to be detectable by existing defenses and visually identifiable at both training and inference stages. In this paper, we propose a new backdoor attack FTROJAN through trojaning the frequency domain. The key intuition is that triggering perturbations in the frequency domain correspond to small pixel-wise perturbations dispersed across the entire image, breaking the underlying assumptions of existing defenses and making the poisoning images visually indistinguishable from clean ones. We evaluate FTROJAN in several datasets and tasks showing that it achieves a high attack success rate without significantly degrading the prediction accuracy on benign inputs. Moreover, the poisoning images are nearly invisible and retain high perceptual quality. We also evaluate FTROJAN against state-of-the-art defenses as well as several adaptive defenses that are designed on the frequency domain. The results show that FTROJAN can robustly elude or significantly degenerate the performance of these defenses.


翻译:后门攻击被证明是对生物鉴别认证和自主驾驶等深层学习系统的严重威胁。 有效的后门攻击可以在某些预设条件下强制实施模型错误行为, 即触发器, 但通常行为正常。 但是, 直接将现有攻击的触发器注入像素空间, 这往往可以通过现有的防御系统探测, 在培训和推论阶段都可以视觉识别。 在本文中, 我们建议通过对频域施压, 实施一个新的后门攻击FTROJAN。 关键直觉是触发频率域的干扰, 与分散在整个图像中的小型像素误差相对应, 打破现有防御的基本假设, 使中毒图像与清洁的图像有视觉分辨。 我们在若干数据集和任务中评估FTROJAN, 显示它取得了很高的攻击成功率, 但不显著降低良性投入的预测准确性。 此外, 中毒图像几乎是隐形的, 并保持了高感知的质量。 我们还评估了FTROAN对全域的频率的干扰, 打破了现有防御的基本假设, 能够显著地显示这些精确的防御。

0
下载
关闭预览

相关内容

自监督学习最新研究进展
专知会员服务
76+阅读 · 2021年3月24日
专知会员服务
42+阅读 · 2020年12月18日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
【阿里巴巴-CVPR2020】频域学习,Learning in the Frequency Domain
Yoshua Bengio,使算法知道“为什么”
专知会员服务
7+阅读 · 2019年10月10日
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
已删除
将门创投
4+阅读 · 2017年12月12日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
0+阅读 · 2022年1月31日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Deflecting Adversarial Attacks
Arxiv
8+阅读 · 2020年2月18日
Arxiv
9+阅读 · 2018年1月4日
VIP会员
相关资讯
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
已删除
将门创投
4+阅读 · 2017年12月12日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
相关论文
Top
微信扫码咨询专知VIP会员