ECCV 2022 | 底层视觉新任务：Blind Image Decomposition

©作者 | 韩俊霖

单位 | ANU/Data61-CSIRO

研究方向 | 底层视觉、视觉识别

稍微 PR 一下我们在 ECCV 2022 的文章 Blind Image Decomposition，可以译为盲图像分离。

TL;DR: 一个底层视觉的新任务，以一个统一的架构包含了去雾，去雨，去雨滴，去雪， 去阴影，去反光，去水印等图像分离任务。

论文标题：

Blind Image Decomposition

收录会议：

ECCV 2022

论文主页：

https://junlinhan.github.io/projects/BID.html

论文链接：

https://arxiv.org/pdf/2108.11364.pdf

代码链接：

https://github.com/JunlinHan/BID

论文动机

这张图基本说明了我们的动机。如果把雨天图像看作一张混合图像，那么它绝不应该仅仅只有 rain streak 这一种元素。其他元素，比如 haze，raindrop，还有 snow 等等都有可能出现。

而在真实世界下这些元素会以什么样的组合出现往往是未知的。那么一个 robust 的模型就需要能处理所有可能的情况（不同元素之间的任意组合），这是目前的模型所做不到的（现在的任务往往是考虑某一种元素，或者某 2 种元素的组合）。在 BID 任务中，我们将不同的元素以一种随机组合的方式来形成混合图像，从而更好的适应真实世界。

任务的setting

给定一定数量的 source component（上文中的元素），来自 source component 的 image 会以一种随机的方式组合起来 (比如有 5 个 source component，单独 1 个，或者随机抽取 3 个 source component 都会出现，一共会有 种组合方式)。需要一个方法来完成 2 个任务：1）预测哪些 source component 参与了混合；2）分离混合图像并重建参与了混合的原始图像。BID 任务非常具有挑战性。

我们的解决方案：提出了一个叫做 BIDeN (Blind Image Decomposition Network) 的网络。

BIDeN 建立在 GAN 的架构上。这里的图是一个（最多）有 4 个 source component 的例子。G 中不同的 head 对应了每个 source component，在这里进行重建任务。D 中会进行正常的 adversarial training，在这个过程中 D 能学习到哪些图像是分离的，哪些是混合的。这些学到的 representation 可以帮助 D 来进行 source component 的预测任务。

数据集以及任务

一共设立了 3 个任务，分别是：

I: Mixed image decomposition across multiple domains. 

II: Real-scenario deraining. 

III: Joint shadow/reflection/watermark removal. 

其中 II 有 2 个子任务：

Task II. A: Real scenario deraining in driving.

Task II.B: Real scenario deraining in general.

接下来对每个任务，我们用一张图来进行一个简单的介绍：

▲ 任务I有如图的8个source component

▲ 任务II是去雨，II.A中是在Cityscape上合成雨天的图像。II.B中主要是用自然图像作为rain-free图

▲ 任务III是把去阴影，去水印，还有去反光联合起来了。建立在SRD以及ISTD数据集上。

实验以及结果

还是精简着放结果， 每个任务我们在这只放一张图或表。

这里测试的是 Fruit + Animal 的 case。BIDeN 在 BID setting 中训练，而 baselines 是在传统的 image decomposition setting 训练（也就是只在 2 个 source component 的 mix 中训练）。可以看到 BIDeN 的效果还是很不错的。

Task II.A 上的结果。BIDeN 总体而言比较平衡，对于不同的 case 都能去除不同的元素。所有 baselines 也是在 BID 的训练 setting 中训练的。Restormer 和 MPRNet 这种非常强的 baseline 在简单的 case (case1-2) 表现很好，但在其他复杂 cases 上的表现会略微差一些。

Task II.B 的结果。这里我们用传统 image decomposition setting 和 BID setting 分别训练了 2 个模型。BID setting 的模型在真实图像上表现比传统 image decomposition 的模型要表现的更好。

Task III. baslines 是报的之前的 shadow removal methods 的结果，这些模型是在 shadow removal task 上训练的。受限于 BID setting 的难度，BIDeN 在这个 task 上表现并不好。 

Ablation study 就不在这里写了。总而言之，是一个比较新的，也有一定现实意义的 low-level vision 任务。所有代码和数据集已经全部开源，欢迎大家来玩！有任何问题可以留言，看到了都会尽快回复，或者在 github 提 issue 也 OK。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·