摘要

最近,我们见证了对抗性机器学习技术的快速发展,它破坏了底层机器学习模型的安全性,并导致了有利于对抗者的故障。最常见的对抗性机器学习攻击包括故意修改机器学习模型的输入,其方式是人类无法察觉的,但足以导致模型失败。对抗性例子最初是为图像设计的,也可以应用于自然语言处理(NLP)和文本分类。这项工作提出了一个研究和实施对抗性例子--以及防御机制--来对抗基于BERT的NLP分类器。用于测试拟议方法的数据集包括北约文件,现在已经解密,这些文件最初拥有不同的保密级别,由文件中嵌入的标签指定。BERT模型被用来根据这些文件的初始敏感性对其进行自动分类。虽然攻击者的目的是改变分类级别,但防御方致力于阻止这些企图。实验表明,对抗性文本实例可以误导模型,导致拒绝服务,当文件被识别为具有比实际更高的敏感性时,或者导致数据泄漏,当文件被解释为具有比实际更低的敏感性时。通过采取适当的防御措施,有可能抵制特定类型的对抗性攻击,但代价是降低模型的整体准确性。

引言

机器学习系统的广泛使用和成功使其成为攻击者越来越频繁的目标,他们的目标是滥用这些系统为自己谋利。这种现象导致了对抗性机器学习的发展[1],这是一个结合了机器学习和网络安全的领域,涉及到对智能系统可能的攻击以及对策的研究。因此,尽管机器学习在一般情况下能快速提供结果,而且准确性很高,但它并非没有风险,如果在没有充分的安全分析的情况下实施,后果可能是灾难性的。例如,特斯拉Model S 75自动驾驶系统可以通过隐藏高速公路标志或添加人类驾驶忽略的标记来进行操纵,从而导致,例如,转向错误的车道[2]。

图1描述了机器学习系统的各个组成部分可能受到的攻击类型,按有意和无意的故障分组。机器学习的最大威胁之一是数据的完整性,表现为数据中毒。作为训练集一部分的数据,如果被破坏,会改变模型的学习能力,从而影响其性能。训练样本通常不涵盖所有可能的角落案例。一些没有被考虑的样本可能被模型错误分类,导致不正确的预测。提供其预训练模型的第三方服务通常只想提供查询访问,而不提供额外的信息。任何针对模型保密性的安全漏洞都会泄露敏感信息,可能会揭示和暴露出模型结构。一般来说,机器学习服务提供者希望对用作训练集的数据相关信息进行保密。成员推理攻击的目的是通过泄露训练集的一部分来损害数据隐私。

图1 针对机器学习系统的安全威胁实例
成为VIP会员查看完整内容
17

相关内容

论文(Paper)是专知网站核心资料文档,包括全球顶级期刊、顶级会议论文,及全球顶尖高校博士硕士学位论文。重点关注中国计算机学会推荐的国际学术会议和期刊,CCF-A、B、C三类。通过人机协作方式,汇编、挖掘后呈现于专知网站。
【AI+军事】附论文+PPT《军事飞行员的情绪压力分析》
专知会员服务
33+阅读 · 2022年5月11日
【AI+军事】 《冲突监测》附论文
专知会员服务
41+阅读 · 2022年4月27日
深度学习模型鲁棒性研究综述
专知会员服务
88+阅读 · 2022年1月23日
超过 380,000 个 Kubernetes API 服务器面临一系列攻击
CCF计算机安全专委会
0+阅读 · 2022年5月26日
漫谈软件缺陷与漏洞
InfoQ
1+阅读 · 2022年4月23日
人工智能,「抛弃」真实数据集?
新智元
1+阅读 · 2022年4月6日
「深度学习模型鲁棒性」最新2022综述
专知
7+阅读 · 2022年1月23日
避免自动驾驶事故,CV领域如何检测物理攻击?
机器之心
2+阅读 · 2022年1月10日
为什么说对抗性图像攻击不是闹着玩的?
AI前线
1+阅读 · 2022年1月5日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
58+阅读 · 2021年11月15日
Arxiv
12+阅读 · 2020年6月20日
Arxiv
29+阅读 · 2020年3月16日
Self-Driving Cars: A Survey
Arxiv
41+阅读 · 2019年1月14日
Arxiv
21+阅读 · 2018年8月30日
VIP会员
相关资讯
相关基金
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员