CVPR 2019 | 端到端的投影光度补偿

2019 年 5 月 21 日 计算机视觉life

点击上方“计算机视觉life”，选择“星标”

快速获得第一手干货

将于 6 月在美国长滩召开的CVPR 2019临近，新的计算机视觉和模式识别算法成果不断被披露，近日，AR产品与服务提供商亮风台公布了投影AR算法研究最新成果，主要用于解决投影仪光学补偿问题，即当投影屏幕不是理想的白色漫反射时，尽可能消除投影面上的图案。相关论文《End-to-end Projector Photometric Compensation》已经入选CVPR 2019的oral presentation环节。数据显示，今年有超过 5165 篇的大会论文投稿，最终录取1299 篇，而oral presentation的入选率只有提交论文的5%左右。

与之前提出的传统的方法相比，新成果在数值和质量效果上大幅提升，可以预见，该成果将成为投影AR技术应用落地提供重要的技术基础。事实上，这不是亮风台第一次在投影AR算法上取得重要研发突破，去年，亮风台和美国两所科研单位联合研发出一套新的投影仪-相机联合标定方法，对于一个相机姿态仅仅需要一次投影采样，使标定效率和实用性大大优于之前的大部分标定系统，其成果发布于国际顶级增强现实会议ISMAR。ISMAR的参与对象主要为学术界，来自于工业界的工作凤毛麟角。

《End-to-end Projector Photometric Compensation》的重要贡献主要在以下几点：

1. 首次将投影仪光学补偿问题阐述为一个端到端的深度学习问题，然后构造一个新颖的名为CompenNet的卷积神经网络（CNN）来隐式的学习这个复杂的补偿函数。

2. 首次提出一个独立于设备和实际投影的数据库和评价基准，今后类似的工作可以在这个评价基准上统一比较，而不需要复现该研究中使用的设备和实际投影，以前的工作是没有这样的评价基准的。

3. 提供了一个预训练的方法，将预训练好的CompenNet迁移到新的投影屏幕和硬件设置上，只需要拍摄少量的采样图片就可以媲美甚至超过从零开始训练CompenNet和传统方法，这样可以大量的节省采样图拍摄时间和训练时间。

4. 在亮风台提出的评价基准上比较了CompenNet和其他传统的方法，以及一个通用的图到图迁移的深度学习框架pix2pix，实验结果显示在数值和质量效果上新方法都大幅度优于其他参与比较的方法。

背景介绍

这篇工作主要解决投影仪光学补偿问题，即当投影仪屏幕不是理想的白色漫反射时，屏幕的颜色和纹理会导致用户看到失真的效果，如下图1所示。

图1. (a) 正常光照下的具有纹理和颜色的投影屏幕。(b) 投影仪投射的图片（也是我们想要看到的效果）。(c) 相机拍摄到的，没有补偿的投影结果，即将(b)直接投影到(a)上。(d) 我们模型计算出的补偿图。(e) 相机拍到的补偿后的效果，即将(d)投影到(a)上。比较(c)和(e)，可以看到明显提升的效果和细节。

为了解决投影仪光学补偿问题，一般是用一个相机来拍摄大量的投影仪投射的图片，然后从这些拍到的和投射的图片对中拟合出一个光学补偿函数，再将要投射的图片经过这个光学补偿函数补偿，最后由投影仪投射，这样投射的补偿正好可以抵消非理想屏幕的颜色和纹理和投影仪本身的非线性光学特性。

但是以上的光学过程过于复杂，所以很多传统方法以及目前效果较好的算法，都是将这个过程简化为投影仪像素与相机拍到的像素只是一一对应，然后独立地对每个像素拟合一个光学补偿函数。这样的假设，往往忽略了很多重要信息，比如由于投影仪和相机跟屏幕的距离，投影仪相机轻微失焦和屏幕表面相互反射等因素，每一个投影仪的像素并不是跟每个相机像素一一对应，很可能一个投影仪像素覆盖了几个相机的像素，这样的简化势必影响投影仪光学补偿的效果，实验的结果也印证了这一点。