计算摄影技术：身怀绝技的扫地僧

2019 年 4 月 2 日 计算机视觉life

点“计算机视觉life”关注，置顶更快接收消息！

作者：Wang Hawk

原文：https://zhuanlan.zhihu.com/p/51490200

一. 计算摄影学介绍

既然你已经打开了这篇文章，我想你一定是对计算摄影学非常好奇。计算摄影是什么？它跟数字图像处理有什么区别？跟现在大火的计算机视觉有什么区别？跟传统的摄影有什么区别？

计算摄影学方面的人才非常的分散和缺乏，而有很多人对这个领域很感兴趣，特别是很多偏工程师背景的朋友。然而虽然现在国内有很多计算机视觉、计算机图形学方面的书籍，但专门的系统性谈计算摄影学这个领域的资料却不够多，而且比较分散，同时还存在着很难让工程师背景的朋友看懂的问题。

希望这篇文章能部分解答你的疑问。

二. 计算摄影是什么？

百度翻译后的维基百科这样说： “计算摄影是指使用数字计算而不是光学处理的数字图像捕获和处理技术。计算摄影可以提高照相机的能力，或者引入基于胶片的摄影根本不可能的特征，或者降低照相机元件的成本或尺寸。计算摄影的实例包括数字全景图的照相机内计算、高动态范围图像和光场照相机。光场照相机使用新的光学元件来捕获三维场景信息，然后这些三维场景信息可以用于产生3D图像、增强的景深和选择性去聚焦(或“后聚焦”)。增强的景深减少了对机械聚焦系统的需要。所有这些特征都使用计算成像技术。”

上面的这一大段话，对于初次接触的人来讲，显得非常的晦涩。而实际上，正如下图所示，计算摄影是计算机图形学，计算机视觉，光学和传感器等领域的交叉学科，而且在很多领域都有重要的应用。[以下的插图和视频若不加特别说明都引用自[1]，CMU 2017年秋季的计算摄影学课程讲义。]

计算摄影学是交叉学科
让我们先从摄影讲起。传统的摄影由如下图所示三个部分组成，其中光学器件用于将入射光汇聚到胶片上，胶片感光，最后在暗室内通过化学手段最终成像。

到了数码摄影时代，传感器代替了胶片，而机身处理器代替了暗室，就像下图所示：

而到了我们现在所讲的计算摄影的领域，上述每一个组件都可以有新的形态。例如，我们可以用强大的图像算法，对传感器所获取的信息做任意的处理，得到丰富多彩的效果

这里的典型应用有：

图像风格化

HDR

图像融合

自动图像拼接

大规模图像数据集信息挖掘

Mining Time-Lapse Videos

我们不仅仅可以利用强大的图像算法来做图像的处理，还可以对光学部分做革命性的更新，如下图所示：

这里，光场相机以及现在大家已经大规模接受的手机双摄像头都是典型的应用，利用这两者都可以实现拍照后对焦，模拟单反浅景深等效果

有人甚至提出了可以取消掉光学系统中的镜头，创造所谓的FlatCam：

从传感器的角度讲，传统摄影时，不管是胶片还是普通传感器，都是为了获取可见光，而在计算摄影的领域，传感器也可以有新的变化。例如，微软出的Kinect就是典型的TOF相机，用于获取场景的深度。Iphone X所用的前置摄像头则采用了激光散斑结构光技术，也是为了获取精确的人脸三维数据。

所以总结起来，相比传统的摄影，计算摄影可以从光学、传感器、图像处理等方方面面加以变化，实现很多传统摄影根本无法想象的效果。

再给大家看一个神奇的视频：利用计算摄影技术，我们甚至能够透过墙壁看到背后的物体。

How to see around corners

三. 参考资料

主要以国外著名大学的计算摄影学课程讲义为基础，再加上自己对其中所讲述的内容的Python Notebook仿真，来撰写一系列的文章。这样可以帮助读者即能够掌握计算摄影学所必须的理论知识，也能够理论联系实际，搞清楚公式和实际代码的联系。如果你看了这些文章能够得到一些启发，甚至开发出新的有趣的应用和产品，那是更好不过。

目前的计划是以CMU的2017年秋季的计算摄影学课程15-463为主线来撰写一系列文章，必要时再参考如下的一些资料：

Computational Imaging and Display (Gordon Wetzstein, Stanford)
Computational Photography (Derek Hoiem, UIUC)
Computational Photography (James Hays, Brown)
Computational Photography (Ramesh Raskar and Jack Tumblin, SIGGRAPH course)
Digital and Computational Photography (Fredo Durand, MIT)
Introduction to Computational Photography (Oliver Cossairt, Northwestern)
Introduction to Visual Computing (Kyros Kutulakos, University of Toronto)
Visual Computing Systems (Kayvon Fatahalian, CMU)
我希望我并不只是简单的翻译讲义，而是加入自己的解读，甚至自己用Python做的仿真实验。

如果你对我的文章感兴趣，觉得有用，请给我点赞，谢谢！

参考资料：

CMU 2017 Fall Computational Photography Course 15-463, Lecture 1