NeurIPS 2022 | 视觉感知质量攻击：NR-IQA模型鲁棒性的试金石

2022 年 11 月 2 日 PaperWeekly

©作者 | 张维夏

单位 | 上海交通大学

来源 | SJTUAI

近日，上海交通大学人工智能研究院杨小康教授和张维夏博士等人在无参考图像质量评价的研究成果“Perceptual Attacks of No-reference Image Quality Models with Human-in-the-Loop”被国际机器学习和人工智能顶级会议 NeurIPS 2022 接收。论文提出了一种人在环路的感知攻击算法，为无参考图像质量评价的视觉感知鲁棒性研究奠定了基础，有望推动智能时代的图像视觉质量保障体系发展。

论文题目：

Perceptual Attacks of No-reference Image Quality Models with Human-in-the-Loop

论文来源：

NeurIPS 2022

论文链接：

https://arxiv.org/abs/2210.00933

如何提出研究NR-IQA模型的

感知鲁棒性问题？

数字图像作为一种直观的信息载体，已经深度融入到人类的生产生活，数字图像的感知质量能够直接影响到其信息表达能力。无参考图像质量评价（No-reference Image Quality Assessment，NR-IQA）仅利用输入图像自身的特征便可完成图像感知质量的评估，将感知质量量化为一个具体的数值，在图像处理和计算机视觉等任务中可对数值进行实时监测，从而及时做出调整和优化，改善用户体验。

近年来，机器学习模型在面对有意设计的对抗攻击算法时表现出脆弱性，受到了学术界和产业界的关注与重视。现有的针对图像分类等语义识别领域的对抗攻击已经得到了广泛的研究，但是对于图像质量评价问题，大部分研究的关注点仍集中于提升NR-IQA模型在标准数据集上的性能指标，在对抗攻击鲁棒性研究方面存在空白，为NR-IQA在产业应用埋下了隐患。例如，在图像处理系统中，NR-IQA模型可以担任“运维师”的角色，实时监测输出的视觉质量。但是当NR-IQA模型遭受攻击算法干扰而无法对图像质量进行正确评估时（图1所示），将会造成图像处理系统的高虚警率（高质量图像被判定为低质量）和高漏警率（低质量图像被认定为高质量），若视频播控系统出现漏警，将会影响到系统的安全性，甚至导致系统瘫痪，可能产生严重的社会影响。

图1. 无参考图像质量评价模型在图像处理系统中的运维作用

你们是如何开展这项工作的？

在机器学习中，鲁棒性一般被定义为在面对对抗攻击算法时，是否能稳健地做出正确的预测。具体到NR-IQA问题，我们需要从它的问题特性出发来定义鲁棒性。如图2所示，由特定对抗攻击算法产生的像素扰动并没有改变（b）图像的语义信息（仍为蝴蝶），但是人眼可见的“马赛克”噪声已经造成了（b）图的视觉感知质量显著下降。此时，若 NR-IQA模型认为（b）图的质量比（a）图差，也不能据此判断模型的鲁棒性受到影响。基于以上情况，我们认为对于NR-IQA任务，需要首先保证施加在原图上的像素扰动对于人眼不可见（在心理物理学中，将此称为低于人眼刚好可以觉察的差异，即“视觉临界失真”（JND：Just-Noticeable Distortion）），再评估模型的感知鲁棒性。

（a）

（b）

图2. (a)是原始图像。（b）是对(a)图施加一个由特定攻击算法产生的肉眼可见的“马赛克”式的扰动。与（a）相比，(b)的语义信息不变（“蝴蝶”），但是该扰动却造成(b)图感知质量的下降

基于这个准则，我们提出了一种人在环路的感知攻击算法（图3），主要包括两个阶段：

1）生成扰动图像。根据NR-IQA模型预测的质量分数计算其相对于输入图像的梯度，并将NR-IQA与衡量视觉保真度的“感知约束项”组成的带约束优化问题转化为数学等价的松弛优化问题，通过调整NR-IQA模型与感知约束项的相对权重，高效地产生一组具有不同失真可见度的扰动图像。

2）人眼主观判别。邀请人员参与受控的心理物理学实验，通过人眼比较每张扰动图像与其对应的原图，找出其中感知质量与原图一致的图像，再令NR-IQA模型对其进行质量评分，选出其中与原始图像评分差异最大的图像作为最终输出，称之为反例样本。

在感知鲁棒性评估方面，我们采用斯皮尔曼秩相关系数（SRCC）进行衡量，SRCC的值越高，代表NR-IQA模型的抵御对抗攻击的性能更佳，即鲁棒性更好。

图3. 人在环路的NR-IQA感知攻击算法示意图

感知鲁棒性评估的实验结果如何？

我们分别对 BRISQUE（Mittal等提出的基于人工特征的NR-IQA模型）、CORNIA(Ye等2012年提出的视觉码本学习的评价策略)、Ma19（Ma等提出的基于多目标学习的无参考质量评价模型）和UNIQUE(Zhang等2021年提出的一种跨失真场景的联合训练策略)四类有代表性的NR-IQA模型进行了实验，结果如表1所示，可以看出四类NR-IQA模型的SRCC指标均接近于0，即模型预测的质量评分与图像真实的质量评分之间几乎呈完全不相关，说明该感知攻击方法可以成功地令相应NR-IQA模型使模型失效，也反映出这些模型均不具备我们所期望的感知鲁棒性。

表1：NR-IQA的模型内感知攻击结果

进一步地，我们继续对这四类有代表性的NR-IQA模型进行了跨模型攻击实验，即“使用某一个模型在感知攻击算法下生成的反例样本来验证其他三个模型的感知鲁棒性”，结果如表2所示。可以看出其他三个模型均表现出较好的鲁棒性，在说明感知攻击不具备攻击迁移性，同时也从侧面反映出不同的NR-IQA模型在进行质量评价时采用了截然不同的技术方法。

表2. NR-IQA的跨模型感知攻击结果

这项成果有何推动意义？

本研究创新性地提出NR-IQA的感知鲁棒性问题，并设计了一种人在环路的感知攻击算法。通过实验与分析，我们认为只有当NR-IQA模型可以成功地抵御视觉感知质量攻击时，它才有可能作为一个良好的图像先验模型，从而通过视觉感知优化的方式帮助各类图像处理、计算视觉任务提升质量。本研究的提出为NR-IQA领域开辟了一个新思路，有望推动机器感知朝着更类人的方向发展。