计算摄影 | 如何定义、评价图像的质量？

点击上方“计算机视觉life”，选择“星标”

快速获得第一手干货

 

一、图像质量的定义

 

我的这个专栏叫做图像质量评价，但是什么叫做图像的质量呢？ 图像质量是一个非常宽泛的概念，在不同情况下有不同的理解。

 

比如下面这张非常注明的照片《毕加索》，是肖像摄影“极简主义”创始人欧文·佩恩的名作。他被称为“极简主义”的摄影大师。1967年的作品《毕加索》是他“极简主义”的代表作。拍摄时，礼帽挡着毕加索的头顶，衣领遮去了他的嘴唇和耳垂，不仅如此，佩恩还用阴影掩饰了他的一只眼睛和一半的鼻子。优美的帽檐曲线给这幅作品增加了色彩，作品的主要特色亮点就是突出强调了目光深邃，囧囧有神的具有穿透力的眼睛，表现了毕加索敏锐眼神的力量。（引自肖像摄影“极简主义”创始人欧文·佩恩—许生评析作品《毕加索》）

 

这当然是一张在美学意义上经典的照片，但在一位专门做相机图像质量调优的工程师眼中，却可能会觉得画面很多地方欠曝，动态范围不够，背景噪声过大。那这张图片的质量高吗？

还有这张收购价达到3401000美元的照片《无题》，画面上的牛仔呈现了标准的美国男人气概，就像西部片中歌颂的那样，但同时他又有些虚无缥缈，遥不可及。这当然是一张好照片，但你可以明显感觉到图像的噪声。这样的图像质量高吗？（图片来自世界十大最昂贵的摄影作品：）

下面这张CT图片从美学上毫无美感，但是却能够清晰的揭示肺部的结节，它的图像质量高吗？

下面这张照片（来自杨幂写真）从细节、噪声、对比度等方面讲都很好，但是如果用来做人脸识别，却会难倒很多人脸识别算法。那这张照片的质量高吗？

因此，在进行图像质量的评价之前，我们需要首先仔细定义 “图像质量”的含义。这肯定取决于产生图像的用途，以及图像的观察者。

 

在这个专栏中，我主要想要讨论的是消费级电子产品（例如手机）的相机成像的图像质量。按照主要参考资料[1]的观点，这种情况下的图像的质量应该被定义为：

 

在特定观看条件下的图像的感知质量，其由输入和输出成像系统的设置和 属性确定，最终影响人对图像的价值判断

 

注意，有些人认为相机图像质量好是要求拍出来的照片和人眼观察到的原始场景一致，例如有人认为苹果手机拍出来的图像比华为手机拍出来的图像更接近原始场景，因此苹果手机的图像质量更好——这种判断方式也是不对的。有两个原因：

 

第一，一幅图像可能会对某些属性进行大量修改，但仍然比一幅更真实的原始场景的图像看起来更令人愉快，并被认为具有更高的价 值。例如手机在做夜景拍摄时，可能会要求拍出来比肉眼观察到的场景更加亮，能凸显一些细节的照片。而在人像拍摄时，又会对背景做一定程度的虚化，凸显出主角。

（引自DXOMARK：Huawei Mate 30 Pro 5G camera review）

第二，个人偏好之间也有差异。摄影专业人员和非专业人士之间就有偏好差异。一个专业相机图像质量算法工程师和其他人也可能具有完全不同的偏好。

 

因此，我们需要进一步讨论在上述定义中，图像质量具有哪些关键属性。

 

二、图像质量的属性

 

我在1.早期的摄影技术Niépce Heliograph中给你展示了现存最早的照片

 

乍一看一下，从这张照片里面看不出什么内容，因为照片本身拍摄的条件有限，且又经过这么多年的辗转，确实不易分辨其中的内容。

 

但是经过一定的处理之后，你可以明显看得更加清晰，在大多数人眼中，都会觉得下面这张照片的质量更高：

 

 

 

当然，这张照片依然是模糊的，而且有很多噪声，并且没有颜色。我们无法看清楚图像上的细节，而且由于拍摄时曝光时间长达八小时，因此图像上两边的墙壁都被照亮了。因此，总体来说在看惯了高清无码大片的我们来说，这张照片依然是渣画质😃

 

无论如何，上述例子提示了我们在观察时，一些最基本的图像属性就能帮助我们识别场景中的各个物体，亮度以及远近。

 

这里还有一个例子，下面是三幅图片，第一幅是简笔画，我们基本上能看出是在描绘小提琴，中间这幅则添加了颜色和细节的渲染，使小提琴显得更加的真实，而右边这幅则是小提琴的高清照片，我们能看出更多的细节，包括琴身上光照的反射的变化，琴弦的外观结构等等。

 

 

 

事实上，真实的成像会包含颜色，形状，纹理，深度，亮度范围和运动等基本特征。忠实再现这些物理特性就可以产生精确逼真的场景和物体图像。

 

这里简要描述下这些基本特征，我还会在以后的文章里面细致的探讨对于这些图像特征的评价方法，以及探讨这些特征是如何影响图像的质量的。

 

2.1 颜色

 

正如我在专栏文章23.颜色知识1-人类的视觉系统与颜色中所谈到的，颜色是人类对物体在被光照射或自发光时的视觉感知。不同波长的光会给人们带来不同的色调的感觉，例如橙色，蓝色，绿色和黄色。然而，颜色比初级色调的感知更复杂:颜色包括对亮度的感知，例如，它允许人们区分红色和浅红色(即粉红色)，或者根据墙 壁的亮度确定均匀着色的房屋的哪一侧面向太阳。而且。人类的视觉系统还有非常复杂而灵活的颜色感知的自适应性，下面这是一个典型的例子，亮度、色调、饱和度相同的色块在被不同颜色包围时我们却会觉得它们的颜色不一致。

 

 

我在计算摄影 |  从入射光到照片：数码相机成像的秘密 和 25. 颜色知识3-色域、色温和白平衡中也谈到了人类视觉系统的这种适应能力 —— 而我们只有采用白平衡技术才能模拟这种能力。

 

正因为颜色的主观性和人类视觉的颜色适配性，因此对图像质量中颜色属性的考察和评价就显得非常的复杂了。这也是我们这个专栏之后会探讨的重点内容之一。

 

2.2 形状

 

更清晰的图像应该增加观察者看到边缘的能力，从而使观察者更容易分辨出增加图像中的物体。

 

虽然人们确实可以看出下面这幅图中的斑点狗，但大多数人都不会认为这幅图像的质量很高。

 

‍ 

2.3 纹理

 

纹理也是图像质量高低的重要属性之一。人类视觉也能够分辨出不真实的纹理和真实的纹理。下面这张图片理解有假的水果（左边五个）和真的水果（右边五个），下方是假的梨和真的梨的表面纹理的区别。事实上，假梨确实有质地，但它是由红色油漆滴制成，而右边的真正的梨有自然出现的深色斑点，甚至右下方有一些表面划痕

 

 

现在人们常用的美颜技术会抹掉皮肤上的纹理，但如果技术应用不当，则会出现图片虚假不真实的感觉，下面这张图中，右边图像中小姑娘的头发，脸部的纹理细节都被图像滤波技术（参看：3. 数码相机内的图像处理-基本图像滤波）磨平了，自然就会导致人们对右边图像质量较低的评价。

 

 

2.4 深度

 

逼真的成像应该使人们更容易分辨场景中各个物体的远近，例如下面这个例子中，下图比上图更加容易让人们感知到物体的远近：

 

 

几个视觉线索提供了传统图像中的深度信息，包括：

• 物体的遮挡

• 阴影

• 远近物体对比度和颜色的系统差异

• 人类熟知的物体的大小关系

• 平行线的汇聚等透视属性

 

当然，人们对图像中深度的感知还取决于图像的一些特定性质，包括清晰度、颜色等。

 

2.5 亮度范围

 

高质量的图像应该能表现出场景中尽可能大的亮度范围。如果相机对场景的曝光不足，与场景的理想表现或观察者回忆的内容相比，图像看起来会太暗;。在最坏的情况下，黑暗场景的内容将难以辨认。相反，如果相机的场景曝光太高，图像看起来太亮了，最坏的时候会完全褪色。这个图像属性通常是人们所说的动态范围。图像的动态范围越低，图像在场景中呈现的亮度范围就越受限制，下面就是一个典型的例子：

 

‍

 

2.6 运动

 

我们提到运动时，通常会关联到视频的质量。高质量的视频应该具有足够高的帧率，能捕捉到真实场景中物体的运动变化。因此，相机的捕获帧率和视频的播放帧率直接影响视觉质量。除帧速率外，每帧的曝光时间(快门速度)也会影响对运动的感知。较长的曝光时间会引入运动模糊，这会减少每帧中的视觉细节。

 

三、图像质量的评价

 

由于我个人的工作背景和知识范围，我更多的关注消费级电子产品，尤其是手机的相机质量。自我2011年踏入这个领域以来，手机相机已从低分辨率，低质量的小工具发展成为完全成熟的摄影和录像工具，使传统相机在市场上的位置相形见绌。人们早就认识到，有必要以一种可靠和一致的方式，并以一种也与人类视觉相关的方式，来指定和评价图像的质量，从而反向来促进手机图像（包括拍照和视频录制）质量的提升。

 

我们选择的评价方式，就包括了客观的图像质量评价，以及主观的图像质量评价。

 

客观图像评价，包括了对图像以下属性的评价：

 

• 曝光和色调

• 动态范围

• 颜色

• 阴影

• 几何畸变

• 杂散光

• 清晰度和分辨率

• 纹理模糊

• 噪声

• 彩色边纹

• 图像缺陷

 

而主观的图像质量评价是需要从观察者那里去搜集意见。由于观点在不同观察者之间有很大差异，所以必须搜集大量意见并加以分析。为了产生有意义的结果，实验必须精心设计，观察者和图片都必须精心挑选。其结果是主观实验 通常需要大量的资源和时间。我们的目的是要产生一个准确的和可重复的客观结果，这和这种评价方式的名称"主观评价"会有一定的矛盾——这意味着图像的主观图像质量绝不仅仅是找到一个测试妹子让她个人看看图片，然后出一个图像质量的评价结果这么简单。

 

四、总结

 

这是我认真撰写的关于图像质量评价的第一篇文章，算是给这个专栏做一个开头。今天我介绍了图像质量有很多种定义，但我更关心的是消费电子产品，尤其是手机相机的图像质量的定义：

 

在特定观看条件下的图像的感知质量，其由输入和输出成像系统的设置和属性确定，最终影响人对图像的价值判断

 

 

图像质量受相机性能和其他方面的影响，包括拍摄条件，如光照、曝光，以及场景内容等，并可以用一些属性来描述，比如锐度，色彩、几何畸变等等。但不同的人群，例如普通消费者，专业的摄影师和其他影像专家对图像质量的感知是不同的。

 

因此对图像质量的评价需包含客观的属性评价，也包含精心设计的主观图像质量评价。其目的都是要产生一个准确的和可重复的客观结果

 

五、参考资料

 

本书非常重要的参考来源是 Jonathan B. Phillips和Henrik Eliasson 合著的Camera Image QualityBenchmarking，这本书讲解了相机图像质量基准测试的方方面面内容，感谢我的好同事@陈小个‍‍对此书做的认真翻译。

 

本文还参考了如下资料：

 

1. 肖像摄影“极简主义”创始人欧文·佩恩—许生评析作品《毕加索》：http://www.sohu.com/a/256096904_100246570

2. 世界十大最昂贵的摄影作品：https://baike.baidu.com/item/%E4%B8%96%E7%95%8C%E5%8D%81%E5%A4%A7%E6%9C%80%E6%98%82%E8%B4%B5%E7%9A%84%E6%91%84%E5%BD%B1%E4%BD%9C%E5%93%81/15822060

3. 杨幂写真：http://suo.im/5yqop0

4. DXOMARK：Huawei     Mate 30 Pro 5G camera review：https://www.dxomark.com/huawei-mate-30-pro-5g-camera-review/

 

交流群

欢迎加入公众号读者群一起和同行交流，目前覆盖SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、Re-id、强化学习、模型压缩剪枝、医学影像、GAN、算法竞赛等微信群，请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

投稿、合作也欢迎联系：simiter@126.com

长按关注计算机视觉life