好文推荐 | 全新超大规模IQA数据集
主题词
图像质量评价（IQA），大规模IQA数据库
深度学习，层级质量衰减
现有的图像质量评价（IQA）数据库往往只有几千张图像，限制了基于深度学习的高效IQA算法的开发。
针对这些问题，西安电子科技大学吴金建教授团队，在IEEE Transactions on Image Processing（TIP）上发表的论文《End-to-End Blind Image Quality Prediction with Cascaded Deep Neural Network》，提出了一个新的超大规模IQA数据集，并设计了一个基于层级质量衰减的质量评价模型。
该数据集含有超过一百万张具有质量分值的图像。在该数据集的基础上，论文进一步设计了一个基于层级质量衰减度量的卷积网络，完成端到端的无参考质量评价。大量实验验证了所提数据集和方法的有效性。
标题：End-to-End Blind Image Quality Prediction with Cascaded Deep Neural Network
作者：Jinjian Wu, Jupo Ma, Fuhu Liang, Weisheng Dong, Guangming Shi, Weisi Lin
发表期刊：IEEE Transactions on Image Processing
DOI：10.1109/TIP.2020.3002478.
引用格式：J. Wu, J. Ma, F. Liang, W. Dong, G. Shi and W. Lin, "End-to-End Blind Image Quality Prediction with Cascaded Deep Neural Network," in IEEE Transactions on Image Processing, doi: 10.1109/TIP.2020.3002478.
论文、代码及数据库链接：
https://web.xidian.edu.cn/wjj/paper.html
随着5G和移动终端的普及，人们对于视觉信息的感知质量体验提出了越来越高的要求。图像质量评价（IQA）就是对一副图像的质量自动进行度量，并使度量结果与人类的主观感知尽可能一致。Lord Kelvin说过：“没有度量，就无从优化。”图像质量评价在成像与传输系统设计、图像压缩、图像检索等领域具有重要的应用价值。
由于现有的IQA数据库图像数量太少，例如常见的TID2013数据库仅包含有3000幅污染图像，满足不了深度学习对大数据的需求，更进一步限制了基于深度学习的高效IQA算法的开发。针对这些问题，论文尝试从数据库和算法设计两方面共同解决质量评价这一难题。
首先建立一个百万数量级的大型图像质量评价数据库。该数据集包含有10000张从MSCOCO中挑选的高清原图，21种噪声，1050000张污染图像，并基于多FRIQA算法融合的思想为每张污染图像计算了一个质量分值（pseudo-MOS）。表1中比较了论文建造的数据库与其他几种常见数据库。
表1 我们建造的数据库与现有数据库的比较
接下来，受人类视觉系统信息层级处理机制的启发，设计了一个层级特征融合的卷积神经网络用于度量层级质量衰减，完成无参考质量评价。在网络优化过程中，既考虑多层级融合后的预测分值损失，也考虑单层级的预测分值损失。通过层级联合优化（hierarchical-joint）和端到端（end-to-end）优化，论文网络可以充分从大数据中学习IQA的特性，完成对图像质量的有效预测。
图1 基于层级质量衰减的卷积神经网络架构
在5个公开的标准IQA数据库上验证了论文算法的性能。实验结果表明论文算法达到了与人类主观感知的高度一致性。尤其在跨库实验当中，该算法在大多数情况下取得了明显的优势。另外，使用论文建立的数据库重新预训练了其他算法，数据库可以有效的提升其他算法的泛化性能。实验结果见表2-4。
表2 在标准IQA数据库上的交叉验证实验结果
表3 跨库实验结果
表4所建数据库对其他算法跨库性能的提升
（TID2013训练，LIVE测试）
实验结果表明，论文方法在大数据的驱动下，通过度量层级质量衰减，具有良好的鲁棒性和泛化性能。同时，建立的大规模数据集也可以有效的提升现有IQA算法性能，并为以后IQA算法设计提供了数据驱动力。
作者简介
吴金建，教授，博士生导师，西安电子科技大学人工智能学院，研究领域：视觉感知建模，仿生成像，质量评估和目标检测。
E-mail：jinjian.wu@mail.xidian.edu.cn
个人主页：
https://web.xidian.edu.cn/wjj/index.html
马居坡，博士研究生，西安电子科技大学人工智能学院，研究领域：图像质量评价，仿生成像。
E-mail: jupoma@stu.xidian.edu.cn
梁富虎，硕士研究生，西安电子科技大学人工智能学院，研究领域：图像质量评价，弱小目标识别。
E-mail: fhliang@stu.xidian.edu.cn
石光明，教授，博士生导师，西安电子科技大学人工智能学院，研究领域：压缩感知理论、计算成像及处理、生物信息处理与脑启发智能技术、人工智能等。
E-mail：gmshi@xidian.edu.cn
个人主页：
申明：本文发布的网站内容均不代表本号观点，本号旨在提供参考素材以便学习交流。
回放平台：
知网在线教学服务平台：
http://k.cnki.net/Room/Home/Index/181822
B站：
https://space.bilibili.com/27032291
往期目录：
汪荣贵——机器学习基本知识体系与入门方法
陈强——从Cell封面论文谈AI研究中的实验数据问题
石争浩——从先验到深度：低见度图像增强
行知论坛——南理工行知论坛&图图Seminar：智能画质增强专题
孙显——遥感图像智能分析：方法与应用
章国锋——视觉SLAM在AR应用上的关键性问题探讨
林宙辰——机器学习中优化算法前沿简介
白相志，冯朝路——“医学图像与人工智能”主题论坛
看完微推意犹未尽？
快加入图图社区，更多资讯等着你
前沿进展 | 多媒体信号处理的数学理论
中国卫星遥感回首与展望
单目深度估计方法：现状与前瞻
目标跟踪40年，什么才是未来？
10篇CV综述速览计算机视觉新进展
算法集锦 | 深度学习在遥感图像处理中的六大应用
封面故事 | 从传统到深度：火灾烟雾识别综述
封面故事 | 光场数据压缩综述
学者观点 | 结合深度学习和半监督学习的遥感影像分类
编辑推荐 | 视频 + 地图！四维信息助力实景中国
深度学习+图像降噪，如何解决“卡脖子”问题？
专家推荐|高维数据表示：由稀疏先验到深度模型
专家报告 | AI与影像“术”——医学影像在新冠肺炎中的应用
专家推荐|真假难辨还是虚幻迷离，参与介质图形绘制让人惊叹！
学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】
专家报告|深度学习+图像多模态融合
专家报告 | 类脑智能与类脑计算
实战例题！200+PPT带你看懂监督学习
118页PPT！机器学习模型参数与优化那些事儿~
专家开讲 | 机器学习究竟是什么？
羡慕别人中了顶会？做到这些你也可以！
如何阅读一篇文献？
共享 | SAR图像船舶切片数据集
资源分享| 不知道如何获取最新的算法资讯？快来这里看一看
资源分享|热门IT资讯号推荐
《中国图象图形学报》2020年第2期目次
《中国图象图形学报》2020年第1期目次
本文系《中国图象图形学报》独家稿件
内容仅供学习交流
版权属于原作者
欢迎大家关注转发！
编辑：狄 狄
指导：梧桐君
审校：夏薇薇
总编辑：肖 亮
声 明
欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。
相关内容
微信扫码咨询专知VIP会员