AAAI 2022 | 全身涂装式对抗纹理迷彩生成框架FCA

笔者按 

近日，人工智能国际顶级学术会议之一AAAI 2022以线上虚拟会议的形式召开。据了解，本届会议收到来自全球的9215篇投稿论文，而接受率仅为15%，创历史新低。随着深度神经网络日益广泛的应用，模型鲁棒性和安全性受到越来越多的关注，对抗机器学习成为AAAI 2022的热点议题之一。国防科技创新研究院无人系统技术研究中心智能设计与鲁棒学习实验室（IDRL）的研究成果《FCA: Learning a 3D Full-Coverage Vehicle Camouflage for Multi-View Physical Adversarial Attack》被AAAI 2022收录，并在红山等平台开源。为解决车辆等目标在动态行进中带来的多角度攻击难、攻击实时性差、物理不易实现等挑战，该团队提出了一种基于神经可微分渲染器的全身涂装式对抗纹理迷彩生成框架FCA，能够贴合车辆表面生成适应多角度、部分遮挡、物理易实现的对抗伪装迷彩，并支持扩展多种攻击目标、仿真场景和目标检测模型，在黑盒设置下对YOLOv5、SSD、Faster RCNN等目标检测模型迁移攻击取得了世界领先效果。

注：

①论文地址：

https://arxiv.org/abs/2109.07193v3

②项目地址：

https://idrl-lab.github.io/Full-coverage-camouflage-adversarial-attack/

③开源代码：

https://forge.osredm.com/projects/p58074962/Full-coverage-camouflage-adversarial-attack

https://github.com/idrl-lab/Full-coverage-camouflage-adversarial-attack

④IDRL整理目标检测对抗攻击与防御论文集

https://github.com/idrl-lab/Adversarial-Attacks-on-Object-Detectors-Paperlist

数字攻击效果图

物理攻击效果图

01 研究背景及简介

近年来，基于深度学习的目标检测技术在自动驾驶、视频监控等领域得到广泛应用，但现有研究表明深度学习模型易受到对抗样本攻击，导致相关技术存在落地风险。相比于图像分类攻击中只要改变图像类别，目标检测攻击要同时考虑降低目标物体存在的置信度、目标物体的类别以及目标物体的位置，因而更具挑战性。对抗攻击可以分为数字空间攻击和物理世界攻击两大类。物理世界攻击是指对抗样本可以攻击物理世界部署的目标检测系统，因此受到更广泛的关注。

目标检测系统的物理世界攻击存在两大主流方法：（1）对抗补丁攻击：通过在数字空间优化对抗补丁图片，然后将优化好的对抗补丁图片打印出来并粘贴在目标物体的部分区域实现物理攻击（如图1(a)）。虽然补丁攻击在特定测试环境（如固定距离固定角度）和特殊目标（如路牌）下取得较好的攻击效果，但是补丁图片很难模拟车辆等非平面物体实际形变，当对抗补丁图片被遮挡或补丁观测角度发生变化时，攻击会失效。（2）涂装攻击：通过改变三维目标物体自身的外观纹理来攻击目标检测器。现有局部涂装方法（如图1(b)）着重优化物体的部分纹理区域如车顶、车门等较平坦位置，导致其无法适应多角度、部分遮挡等场景，攻击效果欠佳。现有全身涂装工作（如图1(c)）通过优化二维纹理图片，并利用物理渲染器将纹理图片像马赛克一样重复渲染到物体表面上，虽然能从多角度展示对抗纹理，但其纹理图案简单，攻击性能较差。在现有研究的基础上，IDRL团队利用神经渲染器开展了全身涂装式对抗纹理攻击技术研究，通过直接优化三维物体的全身外表面纹理，为多场景、多角度的物理攻击提供了一种高效的解决方案（如图1(d)）。

图1 不同目标检测系统物理攻击方法效果图

02 全身涂装对抗纹理迷彩生成框架

为解决目标检测攻击中的多角度攻击难、攻击实时性差、物理不易实现等挑战，在3D仿真环境中针对三维物体的全身外表面进行整体纹理优化，通过捕捉多角度观测下的物体纹理使其在多角度和部分遮挡情况下提高攻击成功率；设计了多尺度对抗损失，使对抗纹理在不同距离的情况下仍具有攻击性。为尽可能减少数字仿真空间和真实物理世界的差异，可在高分辨率开源自动驾驶平台Carla上采集大量仿真数据供训练。实验表明在黑盒条件下，对抗纹理迷彩的迁移攻击性能大幅提升。全身涂装对抗纹理迷彩生成框架流程如图2所示。

图2 全身涂装对抗纹理迷彩生成框架FCA

（1）数据准备

本框架支持常见OBJ格式三维模型文件作为输入，并提供基础车辆三维模型供验证。该部分对应于图2中的Input 3D model。为模拟车辆在物理场景中行驶，采用高分辨率开源自动驾驶平台Carla作为仿真环境，提供多种虚拟世界场景，如城市，郊区等。可根据任务需求设置需采集的数据：车辆在仿真环境中的图片，图片采样时相机的位置（坐标，旋转信息），车辆的位置（坐标，旋转信息），如图3所示。该部分对应与图2 中Training Set。

图3 场景仿真数据采样设置

（2）全车身纹理渲染

对抗纹理迷彩涂装在三维汽车模型上后，需要通过渲染器将其渲染成二维图片供目标检测器检测。利用可微分神经渲染器, FCA可使用基于梯度的方法对纹理进行高效对抗攻击优化。为还原车辆在仿真器中的观测视角（图4左图），可利用采样数据中车辆目标和相机的方位参数，结合全身纹理渲染出与采样时方向位置一致的图片（图4中右图），相当于为仿真器中原始车辆在特殊角度披上对抗迷彩外衣。该模块对应于图2的Rendering部分。

图4 全身纹理图片渲染效果

（3）对抗样本合成

为了提升对抗攻击效果，还需要将渲染了对抗纹理的伪装汽车与仿真环境背景再次合成，生成带背景的伪装汽车对抗样本。FCA框架使用语义分割网络从图4右图中生成掩码图，提取采样图的仿真背景图片，与涂装汽车相加得到带背景的伪装汽车对抗样本。

图5 对抗样本合成

（4）多尺度对抗攻击损失

根据上述设置，对抗纹理的优化可定义成如下形式

其中，M表示3D模型的网格，T_adv为对抗纹理，θ_c表示采样时的目标物体和相机的位置信息，R表示渲染器，θ_f表示目标检测器的参数，F表示目标检测器，Φ表示背景转换操作, J表示损失函数，Y表示真实标签。通过最大化上述损失函数，优化得到对抗纹理T*_adv。

为提升对抗样本的攻击迁移性，设计多尺度对抗损失如下

其中，用于衡量对抗纹理图片预测边界框与真实边界框之间的交并比值(IOU)的损失大小；用于衡量对抗样本中是否有目标物体的概率；是对抗样本被分类成指定类别（如汽车）的置信度。具体而言，定义如下：

其中bⁱ表示第i个尺度的预测边界框, 是真实的边界框。N表示不同尺度的层数，YOLO-V3中N为3。使用多尺度IOU损失可以保证对抗纹理图片始终有一个尺度与目标尺寸相匹配，因此经过优化的对抗纹理可以满足不同尺度下的攻击。一般而言，对于一个训练好的目标检测器，计算得到的IOU值很大。因此，通过不断优化对抗纹理来最小化该损失使目标不被检测到。

除了对抗损失外，我们使用平滑损失来使纹理的局部区域过渡更加自然。

最终，总的损失函数如下

通过计算上述损失函数的梯度，并通过利用可微分神经渲染器反向传播来指导3D模型的纹理优化。

（5）全车身纹理优化

为加快全身纹理优化速度，提高优化效率，提出了一种空间换时间的方法。具体而言，将利用语义分割网络提取背景掩码的步骤作为数据预处理操作，在训练前完成训练图片掩码的提取。因此，在优化过程中，不再需要使用语义分割网络，只需要加载与训练图片对应的掩码图片，从而加快了优化速度。详细算法流程图如算法1所示。

03 实验结果

3.1数字世界攻击

为公平比较，采用了文献提供的Carla仿真数据集。虽然涂装对抗迷彩是针对YOLO-V3设计的，但是在测试阶段选取四种黑盒检测器验证其攻击性能，即本文所展示的结果均为黑盒攻击的结果。实验结果展示了攻击算法的迁移性。为了与现有工作进行比较，下表展示了P@0.5（指检测器的IOU阈值设置为0.5时，检测器检测到汽车样本数占总样本数的比）的对比结果。

从上表中可以看出，FCA相比于现有方法均有较大的提升，这显示了全身涂装对抗迷彩框架FCA在数字空间具有较好的攻击性能。

3.2 物理世界攻击

在物理实验中，由于实验条件的限制，参考已有文献方式将对抗性纹理打印并贴到玩具车来模拟真实世界物理攻击。在不同环境下，从不同角度和距离拍摄了144张图片，并使用四种常用的目标检测模型进行实验，实验结果如下表所示：

可以看出，提出的全身涂装迷彩方法在物理世界中仍具有较好的攻击效果，这证明了生成的涂装对抗性迷彩具有较好的迁移性和攻击能力。

3.3 多角度和部分遮挡攻击效果

 为了验证FCA在多角度下的攻击效果，在不同距离下按照360°每间隔3°各采样了120张图片，构建了规模为4320张的多角度测试数据集。实验结果如下表是所示，可以看出，FCA在不同角度下均有较高的攻击成功率。

为了验证FCA涂装了对抗性迷彩被遮挡时的攻击效果，在试验中根据迷彩被遮挡的程度，定义了以下三种遮挡范围：小部分遮挡（small）,中等遮挡（middle），大部分遮挡（large）。实验结果如下表所示，生成的迷彩在不同程度遮挡情况下均能表现出较好的攻击效果。

3.4 可视化效果

（1）多视角攻击效果

图6 多视角攻击效果图

为分析对抗性迷彩涂装使模型做出错误预测的原理，使用模型类激活图可视化方法（Grad-CAM）分析了ResNet关注点。分析结果如下图所示，可以看出对抗性迷彩使模型的注意力发生了不同程度的分散，导致目标检测失效。

图7 攻击前后模型注意力变化

（2）部分遮挡攻击效果

图8是生成的对抗性迷彩伪装汽车在不同距离、不同遮挡程度下的效果图。可以看出FCA生成的对抗性纹理在复杂情况下均能攻击成功。

图8 部分遮挡攻击效果

04 结语

为解决目标检测系统的对抗攻击与伪装迷彩设计，本项目研究了视觉目标检测、对抗样本生成优化、三维视觉建模仿真等关键技术，重点探索了涂装式全身对抗迷彩纹理的优化方法，同时形成了一套可用于多场景仿真数据构建、支持多种三维目标对抗纹理设计、支持多种主流目标检测系统、可编辑涂装区域的对抗伪装迷彩优化方法以及目标检测系统安全性的评估验证开源平台FCA。下一步，将对基于神经渲染器的涂装式对抗迷彩近似建模进行改进和完善。

IDRL实验室介绍

国防科技创新研究院无人系统技术研究中心智能设计与鲁棒优化实验室致力于人工智能与飞行器设计的基础前沿和交叉研究，面向飞行器多学科高效分析与优化，发展了系列数据和知识混合驱动的深度学习方法，形成了全自主知识产权的智能辅助飞行器设计优化云平台IDaaS（Intelligent Design as a Service）原型系统、集成卫星组件热布局温度场近实时预测基准工具箱STEP（Satellite Temperature fiEld Prediction of heat source layout）、内嵌物理知识神经网络算法框架IDRLNet等前沿研究成果。近3年团队发表相关学术论文80余篇，其中高影响因子SCI检索70篇，授权专利17项。

实验室招收计算机科学与技术、航空宇航科学与技术、力学等专业硕士生、博士生，研究方向包括机器学习辅助多学科建模分析、复杂系统生成设计与多学科优化、不确定性分析与鲁棒优化、智能辅助结构拓扑优化、对抗机器学习、数字孪生、知识工程等，并与国防科技大学、北京大学、浙江大学、上海交通大学、电子科大、北京航空航天大学、中山大学、西北工业大学等高校有联合培养博士指标，欢迎有意同学联系报考，联系方式：idrl_hr@163.com。

团队相关成果

[1] Wang, D., Jiang, T., Sun, J., Zhou, W., Zhang, X., Gong, Z., Yao, W., Chen X., FCA: Learning a 3D Full-Coverage Vehicle Camouflage for Multi-View Physical Adversarial Attack[C], Thirty-Sixth AAAI Conference on Artificial Intelligence, 2022.

[2] Li, C., Wang, H., Zhang, J., Yao, W., Jiang, T., An Approximated Gradient Sign Method Using Differential Evolution For Black-box Adversarial Attack[J], IEEE Transactions on Evolutionary Computation, 2022.

[3] Chen, X., Zhao, X., Gong, Z., Zhang, J., Zhou, W., Chen, X., Yao, W., A Deep Neural Network Surrogate Modeling Benchmark for Temperature Field Prediction of Heat Source Layout[J], Science China Physics, Mechanics & Astronomy, 2021,64(11):1-30.

[4] Peng, W., Zhang, J., Zhou, W., Zhao, X., Yao, W., Chen, X., IDRLnet: A Physics-Informed Neural Network Library, IDRLnet: A Physics-Informed Neural Network Library[C], The 7th International Workshop on Advanced Computational Intell igence and Intelligent Informatics (IWACIII2021), Beijing, China.

[5] Zhang, Z., Li, Y., Zhou, W., Chen, X., Yao, W., Zhao, Y., TONR: An Exploration For A Novel Way Combining Neural Network With Topology Optimization[J], Computer Methods in Applied Mechanics and Engineering, 2021,386:114083.

[6] Chen, X., Chen, X., Zhou, W., Zhang, J., Yao, W., The Heat Source Layout Optimization Using  Deep Learning  Surrogate Modeling[J], Structural and Multidisciplinary Optimization, 2020,62(6):3127-3148.

[7] Wang, N., Pedrycz, W., Yao, W., Chen, X., Zhao, Y., Disjunctive Fuzzy Neural Networks: A New Splitting-Based Approach to Designing a T–S Fuzzy Model[J], IEEE Transactions on Fuzzy Systems, 2022,30(2):370-381.