好文推荐 | 会“举一反三”的图像质量评价模型

2020 年 6 月 15 日 中国图象图形学报

主题词

图像质量评价（IQA），无参考评价，模型扩展性

深度元学习，元知识，小样本学习

由于在实际环境下数据标注成本过高，图像质量评价是典型的小样本学习问题。因此现有的直接利用深度卷积神经网络构建的图像质量评价模型容易出现过拟合问题，导致模型的可扩展性不理想。

针对该问题，西安电子科技大学李雷达教授团队，在CVPR2020上发表的论文《MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment》，提出了基于深度元学习的高扩展性图像质量评价方法。

将不同失真类型的图像质量评价问题当作相关任务，利用元学习提取不同失真类型的图像质量间共享的元知识，即鲁棒的图像质量先验。对于待评价的图像失真，利用图像质量评价元模型，可以实现快速泛化；大量的实验结果验证了所提出的方法具有很强的扩展能力。

关注我们

一起努力

论文信息

标题：MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment

作者：Hancheng Zhu, Leida Li*, Jinjian Wu, Weisheng Dong, Guangming Shi

发表刊物：IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2020), Washington, USA, June 2020.

引用格式：H. Zhu, L. Li, J. Wu, W. Dong, G. Shi, “MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment," in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Washington, USA, June 2020.

论文链接：https://arxiv.org/abs/2004.05508

代码链接：

https://github.com/zhuhancheng/MetaIQA

研究背景

图像是人们日常生活获取信息的重要载体，图像在获取、压缩和传输等过程中会引入各种不同类型的失真。图像质量客观评价方法可以自动地对图像质量进行评价，同时保持与人眼感知的一致性，在图像处理、成像系统的设计与优化、图像检索等众多领域中有重要的应用价值。

由于实际环境下图像中的失真类型呈现多样化特性，失真的特性之间也存在较大差异，使得通用型的图像质量评价模型构建极具挑战。本文尝试从元学习的角度解决不同失真类型的图像质量评价模型的可扩展性问题。

研究方法

本研究基于元学习的学会学习（learn to learn）的能力，利用基于梯度优化的深度元学习方法获取具有快速扩展能力的图像质量先验模型。

图1 研究方法框架

1.利用基于梯度优化的元学习框架学习具有不同图像失真类型质量评价任务上的先验模型，获取图像中不同失真类型的共享先验知识；

2. 把质量先验模型看作预训练模型，通过对未知失真类型IQA任务的少量标注样本进行微调训练，可以快速泛化到目标图像的质量评价任务上。

研究结果

本研究在国际通用的合成失真和真实失真的IQA数据库进行验证，提出的先验模型不仅可以直接有效地预测未见失真类型图像的质量分数，而且通过少量训练样本的微调可以快速扩展到真实失真图像的质量评价任务上。通过与未使用元学习的基准方法进行比较，本研究方法可以提高5%左右的预测准确性，实验结果见表1和表2。

表1 模拟失真图像质量数据库TID2013和KADID-10K上的性能

表2 真实失真图像质量数据库CID2013、LIVE Challenge和KonIQ-10K上的性能

图2展示了利用合成失真图像获取的质量先验模型在提取真实失真图像的梯度可视化图，可以看到梯度图准确地捕捉到了真实失真在图像中的位置，这进一步证明了本研究方法可以学习到不同失真的共享先验知识。

图2 利用质量先验模型获取真实失真图像的梯度图

研究结论

在五个国际通用的IQA数据库上进行的实验表明，本研究方法在泛化能力和评价准确性方面均优于现有的无参考图像质量评价方法。此外，从合成失真中学习到的质量先验模型也可以快速扩展到真实失真图像的质量评价任务中，这也为实际应用的IQA模型的设计提供了依据，该方法对研究图像质量评价在小样本学习上具有重要的借鉴意义和参考价值。

更多信息详见论文

作者简介

第一作者：祝汉城，博士生，中国矿业大学信息与控制工程学院。研究领域：计算机视觉，图像情感计算，图像感知评价。E-mail: zhuhancheng@cumt.edu.cn

通信作者：李雷达，教授、博士生导师，西安电子科技大学人工智能学院，研究领域：图像与视频质量评价、视觉情感分析、图像信息安全等。E-mail: ldli@xidian.edu.cn。

个人主页：https://web.xidian.edu.cn/ldli/

申明：本文发布的网站内容均不代表本号观点，本号旨在提供参考素材以便学习交流。

"图图Seminar" 直播回放

回放平台：

知网在线教学服务平台：

http://k.cnki.net/Room/Home/Index/181822

B站：

https://space.bilibili.com/27032291

往期目录：

汪荣贵——机器学习基本知识体系与入门方法

陈强——从Cell封面论文谈AI研究中的实验数据问题

石争浩——从先验到深度：低见度图像增强

行知论坛——南理工行知论坛&图图Seminar：智能画质增强专题

看完微推意犹未尽？

快加入图图社区，更多资讯等着你

微信图片_20200602133207.png

好文推荐

前沿进展 | 多媒体信号处理的数学理论

中国卫星遥感回首与展望

单目深度估计方法：现状与前瞻

目标跟踪40年，什么才是未来？

10篇CV综述速览计算机视觉新进展

算法集锦 | 深度学习在遥感图像处理中的六大应用

封面故事 | 从传统到深度：火灾烟雾识别综述

封面故事 | 光场数据压缩综述

学者观点 | 结合深度学习和半监督学习的遥感影像分类

编辑推荐 | 视频 + 地图！四维信息助力实景中国

深度学习+图像降噪，如何解决“卡脖子”问题？

❂ 专家报告

专家推荐|高维数据表示：由稀疏先验到深度模型

专家报告 | AI与影像“术”——医学影像在新冠肺炎中的应用

专家推荐|真假难辨还是虚幻迷离，参与介质图形绘制让人惊叹！

学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】

专家报告|深度学习+图像多模态融合

专家报告 | 类脑智能与类脑计算

实战例题！200+PPT带你看懂监督学习

118页PPT！机器学习模型参数与优化那些事儿~

专家开讲 | 机器学习究竟是什么？

❂ 论文写作

羡慕别人中了顶会？做到这些你也可以！

如何阅读一篇文献？

共享 | SAR图像船舶切片数据集

资源分享| 不知道如何获取最新的算法资讯？快来这里看一看

资源分享|热门IT资讯号推荐

❂ 往期目次

《中国图象图形学报》2020年第2期目次

《中国图象图形学报》2020年第1期目次

本文系《中国图象图形学报》独家稿件

内容仅供学习交流

版权属于原作者

欢迎大家关注转发！

编辑：狄狄

指导：梧桐君

审校：夏薇薇

总编辑：肖亮

声明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

尾巴.png