无参考图像质量评价研究进展综述

2019 年 2 月 15 日 人工智能前沿讲习班

AI综述专栏简介

在科学研究中，从方法论上来讲，都应先见森林，再见树木。当前，人工智能科技迅猛发展，万木争荣，更应系统梳理脉络。为此，我们特别精选国内外优秀的综述论文，开辟“综述”专栏，敬请关注。

引言

图像质量评价是指通过对图像信号进行相关特性分析，评价图像的视觉失真程度。图像质量评价方法主要包括两种，第一种为主观质量评价，第二种为客观质量评价。主观质量评价指的是通过大量的观测者主观判断获取图像的视觉质量，客观质量评价指的是通过客观算法自动计算图像的视觉质量。虽然主观质量评价可以获取较为准确的预测结果，但是无法直接在实际应用系统中使用，而客观质量评价算法能广泛使用在实际应用系统中。根据图像视觉质量计算时是否需要参考图像的信息，客观质量评价算法分为三类，第一类是全参考质量评价算法[1]，第二类是半参考质量评价算法[2]，第三类是无参考质量评价算法[3]。全参考和半参考质量评价算法主要通过对图像的视觉特征进行分析，量化参考图像和失真图像之间的差异，以计算失真图像的视觉质量。相对全参考质量评价算法，无参考质量评价算法在计算失真图像的视觉质量时不需要任何参考图像的信息，在实际应用系统中具有更广泛的应用前景。本文重点介绍无参考图像质量评价算法相关研究进展和未来发展趋势。

作者简介

鄢杰斌，2018年毕业于江西财经大学，获计算机科学与技术专业硕士学位，研究方向：图像质量评价。现就职于美图公司影像实验室，计算机视觉算法工程师。

鄢杰斌

方玉明，江西财经大学教授、博导，江西省数字媒体重点实验室主任，国家优秀青年基金项目获得者。2013年毕业于新加坡南洋理工大学，获计算机工程专业博士学位。主持包括国家自然科学基金优青项目、面上项目、霍英东教育基金会高等院校青年教师基金等课题10余项；在国内外主流学术期刊及会议发表论文100余篇， Google学术引用2000余次，ESI高引论文3篇；申请发明专利及软件著作权10余项，担任多个SCI期刊编委，入选江西省百千万人才工程人选、江西省杰出青年基金获得者，获江西青年五四奖章。

方玉明

无参考图像质量评价算法

无参考图像质量评价是指参考图像不存在的情况下，直接计算失真图像的视觉质量。根据无参考图像质量评价模型在计算图像视觉质量时是否需要图像的主观分数来进行训练，无参考图像质量评价算法可分为基于监督学习的无参考图像质量评价算法和基于无监督学习的无参考图像质量评价算法。

1.基于监督学习的无参考图像质量评价算法

基于监督学习的无参考图像质量评价算法主要包括基于传统机器学习的方法和基于深度学习的方法。基于传统机器学习的该类方法旨在设计有效的视觉特征表达方法，通过支持向量回归等传统机器学习方法学习视觉特征到图像视觉质量的映射模型，而基于深度学习的方法则主要通过构建深度神经网络，学习图像的视觉特征以构建图像质量评价模型，或直接通过端到端来学习失真图像到图像视觉质量的函数表达。

基于传统机器学习的方法：2012年Mittal等人提出使用空域下图像自然场景统计（natural scene statistics: NSS）特征来计算图像的视觉质量，该方法认为，视觉质量完好的图像，其亮度值呈现某种分布，而噪声的存在将破坏亮度值的分布，作者使用拟合得到的高斯模型的参数作为失真图像的特征，使用支持向量回归（support vector regression）训练特征与图像视觉质量之间的映射模型[3]。不同于上述方法，Fang等人研究发现图像的矩特征（均值、方差、峰度和偏态）和信息熵呈现某种分布，并提出使用拟合得到的分布函数的输出值作为失真图像的特征，以构建无参考图像质量评价模型[4]。Mittal等人和Fang等人提出的方法都需要拟合函数分布，以提取图像的相关特征。不同于上述两种方法，Li等人提出使用直方图表示亮度统计特征和结构统计特征，作者通过直方图将特征图转化成特征向量，以构建无参考图像质量评价模型[5]。在[6]中，Fang等人基于屏幕图像（包含图像部分和文本部分）特性，融合方向信息，通过直方图提取亮度统计特征以及高阶导数纹理特征，构建了屏幕图像视觉质量评价模型。

基于深度学习的方法：2014年Kang等人提出使用卷积神经网络（convolutional neural network: CNN）构建图像质量评价模型，该模型仅包含两层卷积层和三层全连接层[7]。Hou等人提出使用全连接神经网络构建图像质量评价模型，作者将图像的NSS特征作为输入，训练深度分类网络，将图像的视觉质量分成五类，包括很好，好，一般，差，较差。并通过权重策略将图像的类别标签转换成图像的视觉质量[8]。Bosse等人提出使用深度卷积神经网络VGG16[9]构建图像质量评价模型[10]，该模型输入与VGG16一致，并融合每一个图像块的权重预测值和质量分数预测值，得到图像的质量分数。不同于上述单一任务端到端的深度学习模型，在[11]中，Ma等人提出一种基于多任务优化的端到端深度卷积神经网络模型（MEON），该工作的思想源于BIQI[12]，在训练阶段融合了图像失真信息。在MEON中，第一阶段为训练一个图像失真类型的分类网络；第二阶段为多任务学习网络，卷积层框架和分类网络保持一致，使用分类网络的参数初始化第二阶段训练任务的参数。卷积层后为双路全连接网络，分别计算图像属于某类失真类型的概率及对应的质量分数，最后，融合两路特征向量，计算图像的视觉质量。在[13]中，Liu等人提出使用排序学习获取深度学习网络的初始参数，在排序学习的基础之上，微调并得到最终的图像质量模型。

2.基于无监督学习的无参考图像质量评价算法

类似基于监督学习的无参考图像质量评价算法，基于无监督学习的无参考图像质量评价算法主要包括基于传统机器学习的方法和基于深度学习的方法。

基于传统机器学习的方法：2013年Mittal等人基于其前期工作提出一种无监督方法实现无参考图像质量评价NIQE[14]。使用质量完好的图像块的NSS特征拟合得到多元高斯（multivariate Gaussian: MVG）模型。基于NIQE，Zhang等人通过整合结构统计特征、多尺度方向和频率统计以及颜色统计特征，提出Integrated Local NIQE (IL-NIQE)算法[15]。2013年Xue等人提出一种基于图像块的质量感知聚类的图像质量评价方法[16]。通过全参考图像质量评价计算每一个图像块的质量分数，根据所有图像块质量分数范围划分为L大类，基于所提取的结构特征，通过K均值聚类算法（K-means）把各大类图像块分成K小类。其中，每一小类对应一个聚类中心，即为一个图像块（结构特征和视觉质量分数）。给定失真图像，提取图像块，计算图像块与L大类中各小类聚类中心的距离。融合每大类中距离最小聚类中心的视觉分数，计算得到图像块的分数。最后，使用平均权重策略，得到失真图像的视觉质量分数。在[17]中，Zhang等人首先将图像的失真类型进行分类，然后针对不同的失真类型提取NSS特征，使用SVR训练得到相应的回归模型，估计失真参数并保存。最后计算失真图像的视觉质量分数。

基于深度学习的方法：Ma等人设计了基于权重共享的全连接神经网络图像质量评价模型[18]。其输入为两张图像，并采用方法CORNIA[19]提取图像的视觉特征，通过融合图像视觉差异的不确定性及图像视觉质量优劣训练图像质量评价模型。在[20]中，Lin等人提出基于生成对抗网络（generative adversarial network：GAN）的图像质量评价方法。该方法包括生成网络和判别网络，生成网络的目标是生成一张假性参考图，判别网络的目标是区分生成的假性参考图和真实参考图。

常用的测试集

第一个是IVC数据库[21]，由法国南特大学IRCCyN实验室在2006年建立。该数据库包含了10张参考图像和185张失真图像。共包括5类失真类型：JPEG压缩、亮度分量JPEG压缩、JPEG2000压缩、局部自适应分辨率编码压缩和高斯模糊失真。每种失真类型包括5个失真等级。

第二个是LIVE数据库[22]，由美国奥斯丁大学德州分校LIVE实验室在2007年建立。LIVE数据库包含29张参考图像和779张失真图像。图像失真类型包括五类：JPEG压缩、JPEG2000压缩、白噪声、高斯模糊和JPEG2000快速尺度衰落失真。每种失真类型包括5-6个失真等级。

第三个是TID2008数据库[23]，由芬兰坦佩雷理工大学在2008年建立。TID2008数据库包括25张参考图像和1700张失真图像。图像失真类型包括十七类：JPEG压缩、JPEG2000压缩、加性高斯噪声、加性噪声、高斯模糊、对比度变换等。每种失真类型包括4个失真等级。

第四个是CSIQ数据库[24]，由美国俄克拉荷马州大学在2009年建立。CSIQ数据库包含30张参考图像和866张失真图像。图像失真类型包括六类：对比度退化、高斯模糊、高斯白噪声、JPEG和JPEG2000。每种失真类型包括3-5个失真等级。

第五个是TID2013数据库[25]，由芬兰坦佩雷理工大学在2013年建立。TID2013数据库包含25张参考图像和3000张失真图像。图像失真类型包括24类：JPEG压缩、JPEG2000压缩、对比度变换，颜色饱和度变换、加性高斯噪声、加性噪声、高频噪声、高斯模糊等。每种失真类型包括5个失真等级。

未来展望

1.自然失真图像质量评价[26]

现有的图像/视频视觉质量评价数据库大多通过人工添加常见噪声生成，且获取的失真图像/视频内容形式较为单一，这些失真图像/视频仅仅来源于数量有限的高质量图像/视频。在真实应用系统中，需要处理的图像/视频数据内容形式复杂多样，同时，这些数据在生成、传输、处理等过程中可能经历了多重失真，其所包含的失真无法完全使用计算机进行模拟生成。所以，通过人工添加噪声这种方法生成的数据无法表示真实应用场景中的复杂失真，这也限制了现有数据库的价值，同时，基于人工添加噪声这类方法生成的数据而设计的客观评价模型其可扩展性也受到限制。因此，开展自然失真图像质量评价研究（包括主观质量评价和客观质量评价研究），具有重要的学术和应用价值。

2.特定场景下的图像质量评价

众所周知，设计通用的图像质量评价方法是困难的。同时，在实际应用系统中，由于应用场景存在差异以及需求不一致等情况，使用同一种算法无法较好地预测不同场景下、不同需求下的失真图像质量，如高动态图像的色调映射（tone-mapping）造成的图像降质[27]。因此，研究特定场景下的图像失真问题具有重要的意义。

参考文献

[1] Wang Z, Bovik A. C, Sheukh H R, et al. Image qualityassessment: From error visibility to structure similarity, IEEE Transactions onImage Processing, 2004, 23(10): 4270-4281.

[2] Rehman A and Wang Z, Reduced-reference image qualityassessment by structure similarity estimation, IEEE Transactions on ImageProcessing, 2012, 21(8): 3378-3389.

[3] Mittal A, Moorthy A. K, Bovik A. C, No-referenceimage quality assessment in the spatial domain, IEEE Transactions on ImageProcessing, 2012, 21(12): 4695-708.

[4] Fang Y, Ma K, Wang Z, et al. No-reference qualityassessment for contrast-distorted images based on natural scene statistics,IEEE Signal Processing Letters, 2015, 22(7): 838-842.

[5] Li Q, Lin W, Xu J, and Fang Y, Blind image qualityassessment using statistical structural and luminance features, IEEETransactions on Multimedia, 2016, 18(12): 2457-2469.

[6] Fang Y, Yan J, Li L, et al. No reference quality assessmentfor screen content images with both local and global feature representation,IEEE Transactions on Image Processing, 2018, 27(4): 1600-1610.

[7] Kang L, Ye P, Li Y, and Doermann, Convolutionalneural network for no-reference image quality assessment, in IEEE Conference onComputer Vision and Pattern Recognition.

[8] Hou W, Gao X, D Tao, Blind image quality assessmentvia deep learning, IEEE Transactions on Neural Network and Learning Systems,2015.

[9] Simonyan K, and Zisserman A, Very deep convolutionalnetwork for large-scale image recognition, ImageNet Challenge, 2014.

[10] Bosse S, Maniry D, Muller K R, Wiegand T, and SamekW, Deep Neural networks for no-reference and full-reference image qualityassessment. IEEE Transactions on Image Processing, 2017, 27(1): 206-219.

[11] Ma K, Liu W, Zhang K, et al. End-to-End Blind imagequality assessment using deep neural networks[J]. IEEE Transactions on ImageProcessing, 2018, 27(3): 1202-1213.

[12] Moorthy A.K, Bovik A. C. A two-step framework for constructing blind image qualityindices. IEEE Signal Processing Letters, 2010, 17(5): 513-516.

[13] Liu X, Weijer J, Bagdanov A, RankIQA: Learning fromrankings for no-reference image quality assessment. IEEE InternationalConference on Computer Vision, 2017: 1040-1049.

[14] Mittal A,Soundararajan R, Bovik A. C. Making a completely blind image quality analyzer.IEEE Signal Processing Letters, 2013, 20(3): 209-212.

[15] Zhang L,Zhang L, Bovik A. C, A feature enriched completely blind image qualityevaluator. IEEE Transactions on Image Processing, 2015, 24(8): 2579-2591.

[16] Xue W, Zhang L, K.-K. Ma, Learning without humanscores for blind image quality assessment. IEEE Conference on Computer Visionand Pattern Recognition, 2013.

[17] Zhang Y,Chandler D M. Opinion-unaware blind quality assessment of multiply and singlydistorted images via distortion parameter estimation. IEEE Transactions onImage Processing, 2018, 27(11):5433-5448.

[18] Ma K, Liu W, Liu T, et al. dipIQ: Blind imagequality assessment by learning-to-rank discriminable image pairs. IEEETransactions on Image Processing, 2017, 26(8): 3951-3964.

[19] Ye P, KumarJ, Kang L, et al. Unsupervised feature learning framework for no-referenceimage quality assessment. IEEE Conference on Computer Vision and PatternRecognition, 2012.

[20] Lin K, and Wang G, Hallucinated-IQA: No-referenceimage quality assessment via adversarial learning, IEEE Conference on ComputerVision and Pattern Recognition, 2018.

[21] Callet P L, Autrusseau F. Subjective qualityassessment IRCCyN/IVC database.http://www.irccyn.ec-nantes.fr/ivcdb/

[22] Sheikh H, Wang Z, Cormack L, et al. LIVE imagequality assessment database Release 2. http://live.ece.utexas.educ/research/quality.

[23] Ponomarenko N, Lukin V, Zelensky A, et al. TID2008-A database for evaluation of full-reference visual quality assessment metrics.Advances of Modern Radioelectronics, 2009, 10:30-45.

[24] Larson E C, Chandler D M. Categorical subjectiveimage quality CSIQ database, 2009. http://vision.okstate.edu/csiq/.

[25] Ponomarenko N, Jin L, Leremeiev O, et al. Imagedatabase TID2013: Peculiarities, results and perspective. Signal Processing:Image Communication, 2015, 30: 57-55.

[26] Ghadiyaram D, and Bovik A C, Massive online crowdsourcedstudy of subjective and objective picture quality. IEEE Transactions on ImageProcessing, 2015, 25(1): 372-387.

[27] Kundu D, Ghadiyaram D, Bovik A C, and Evans B L,Large-scale crowdsourced study for tone-mapped HDR pictures, IEEE Transactionson Image Processing, vol. 26, no. 10, pp. 4725-4740, October, 2017.

@ CAA-PRMI专委会通讯

本文版权归《CAA-PRMI专委会通讯》，转载请自行联系。