华为《AI安全白皮书》对抗性人工智能：AI攻击、AI防御典型方式

执行摘要

近年来，随着海量数据的积累、计算能力的发展、机器学习方 法与系统的持续创新与演进，诸如图像识别、语音识别、自然 语言翻译等人工智能技术得到普遍部署和广泛应用，人工智 能正朝着历史性时刻迈进。与此同时，AI对于传统计算机安全 领域的研究也产生了重大影响，除了利用AI来构建各种恶意检 测、攻击识别系统外，黑客也可能利用AI达到更精准的攻击。 除此之外，在关键的AI应用场景上，AI自身的安全性变得前所 未有的重要，极需要构建一个不会被外界干扰而影响判断的健 壮AI系统。可以说AI帮助了安全，安全也能帮助AI。

本白皮书主要目的是探讨AI自身的安全，确保AI模型和数据的 完整性与保密性，使其在不同的业务场景下，不会轻易地被攻 击者影响而改变判断结果或泄露数据。不同于传统的系统安全 漏洞，机器学习系统存在安全漏洞的根因是其工作原理极为复 杂，缺乏可解释性。各种AI系统安全问题（恶意机器学习）随之 产生，闪避攻击、药饵攻击以及各种后门漏洞攻击层出不穷。 这些攻击不但精准，而且对不同的机器学习模型有很强的可传 递性，使得基于深度神经网络（DNN）的一系列AI应用面临较 大的安全威胁。例如，攻击者在训练阶段掺入恶意数据，影响 AI模型推理能力；同样也可以在判断阶段对要判断的样本加入 少量噪音，刻意改变判断结果；攻击者还可能在模型中植入后 门并实施高级攻击；也能通过多次查询窃取模型和数据信息。

华为致力于AI安全的研究，旨在提供一个令用户放心的AI应用安 全环境，为华为AI使能构建智能世界的新时代愿景与使命做出 贡献。为了应对AI安全的新挑战，本白皮书提出了将AI系统部 署到业务场景中所需要的三个层次的防御手段：攻防安全，对 已知攻击设计有针对性的防御机制；模型安全，通过模型验证 等手段提升模型健壮性；架构安全，在部署AI的业务中设计不 同的安全机制保证业务安全。

未来，华为的AI安全任重而道远。在技术上，需要持续研究AI 可解释性，增强对机器学习工作机理的理解，并构建机制性防 御措施搭建AI安全平台；在业务上，需要详细剖析AI在产品线 的应用案例，落地经过测试和验证的AI安全关键技术。以“万 物感知、万物互联、万物智能”为特征的智能社会即将到来， 华为愿与全球的客户和伙伴们共同努力携手并进，共同面对AI 安全挑战。