VALSE 论文速览第50期：汝之砒霜，吾之蜜糖：一种双流交互学习策略

2022 年 2 月 15 日 VALSE

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自天津大学的单张图像分解方面的工作。该工作由郭晓杰长聘副教授指导，论文第一作者胡启明同学录制。

论文题目：Trash or Treasure? An Interactive Dual-Stream Strategy for Single Image Reflection Separation

作者列表：胡启明 (天津大学)，郭晓杰 (天津大学)

B站观看网址：

https://www.bilibili.com/video/BV16Y411V76A/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

在这篇文章中我们提出了一种简单通用的双流特征交互策略，并利用这一策略设计网络的基础模块，搭建双流特征交互网络，用于高效处理图像的二分解任务。本工作选择了单张图像反射分解作为目标任务。作为一项有代表性的盲源分解任务，单张图像反射分解从一张观测到的混合图像中重建透射层和反射层两个加性组分。因其“由一生二”的不适定性，所以具有很强的挑战性。现有的基于深度学习的方案要么仅单独考虑对传输层的重建，要么只对模型的最终输出进行加性约束，没能有效地进行双分支的特征交互。本文提出 “Your trash is my treasure”（YTMT，汝之砒霜，彼之蜜糖）的双流交互策略，在网络的两个分支之间交换各自的冗余信息。具体来说，因为两个加性组分的内容是互补的，所以一个分支中所冗余的信息，大概率包含了另一分支所需要的信息，于是在双流网络的每对卷积层之后，我们将原本被ReLU激活函数所截断的特征传递到了另一分支，并进行重新加权和融合。我们的模型在常用的单张图像反射分解数据集上的定量、定性实验都相对其他方法取得了优越的表现，同时该策略对于不同的二分解任务都有很好的泛化性能。这一策略的实现非常简洁，以下链接公开了训练和测试代码：https://github.com/mingcv/YTMT-Strategy。

论文信息：

[1] Hu, Qiming, and Xiaojie Guo. "Trash or Treasure? An Interactive Dual-Stream Strategy for Single Image Reflection Separation." in Advances in Neural Information Processing Systems 34 (NeurIPS 2021).

论文链接：

[https://proceedings.neurips.cc/paper/2021/file/cf1f78fe923afe05f7597da2be7a3da8-Paper.pdf]

代码链接：

[https://github.com/mingcv/YTMT-Strategy]

视频讲者简介：

胡启明，天津大学硕博连读研究生，研究方向为计算机视觉和图像处理，目前专注于自然图像的增强与恢复（如低光照增强、去雾、去噪、反射分解等）和恶劣环境下的目标检测（如夜间人脸检测等）。