【泡泡一分钟】使用深度学习网络依赖于相机内部成像的场景建模方法

会员服务 ·

【泡泡一分钟】使用深度学习网络依赖于相机内部成像的场景建模方法

2018 年 10 月 22 日 泡泡机器人SLAM

每天一分钟，带你读遍机器人顶级会议文章

标题：Modelling the Scene Dependent Imaging in Cameras with a Deep Neural Network

作者：Seonghyeon Nam, Seon Joo Kim

来源：International Conference on Computer Vision (ICCV 2017)

编译：王少博

审核：颜青松陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

在场景建模时，往往需要相机内部的图像处理，为此我们提出了一个新颖的深度学习网络框架来解决这一问题。这种技术通常被称为图片的辐射校正，将原始图片从处理后的图片（例如JPEG格式）中恢复过来，这在许多计算机视觉任务中不可或缺，而要做到这一点就需要物理上精确的辐射值。以前的工作都依赖于确定性的成像模型，这种方法无论场景如何变化，颜色转换始终保持不变，因此他们只能应用于在手动模式下拍摄的图片。在本文中，我们提出了一种数据驱动的方法来学习在相机内部场景依赖和局部变换的图像处理过程，这一过程是在自动模式下进行的。我们的方法将全局和局部的场景文本经过多尺度可学习的直方图金字塔整合为像素层的特征。实验结果显示，我们的方法可以在自动模式下，在不同相机之间完成不同方向的转换（从RAW到sRGB，从sRGB到RAW），同时我们也展示了我们的方法在图像去模糊上有着优良的表现。

图一，两张图片都是对同一张原始图片的处理，其中（a）是手动模式下，（b）是自动模式下，我们可以很清楚地发现右图对比度更高，色彩质量更好。

图二，这是本文所使用的深度学习框架

图三，使用多尺度可学习的直方图金字塔整合为像素层的特征的处理结果。

图四，本文的方法应用于图像去模糊化。

Abstract

We present a novel deep learning framework that models the scene dependent image processing inside cameras. Often called as the radiometric calibration, the process of recovering RAW images from processed images (JPEG format in the sRGB color space) is essential for many computer vision tasks that rely on physically accurate radiance values. All previous works rely on the deterministic imaging model where the color transformation stays the same regardless of the scene and thus they can only be applied for images taken under the manual mode. In this paper, we propose a data- driven approach to learn the scene dependent and locally varying image processing inside cameras under the automode. Our method incorporates both the global and the local scene context into pixel-wise features via multi-scale pyramid of learnable histogram layers. The results show that we can model the imaging pipeline of different cameras that operate under the automode accurately in both directions (from RAW to sRGB, from sRGB to RAW) and we show how we can apply our method to improve the performance of image deblurring.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/