摘要： 雨水会产生不良的视觉伪影，从而严重影响可视性，并导致许多计算机视觉系统（例如自动驾驶汽车，监视系统，自动驾驶无人机等）崩溃。雨水会以雨滴，雨水积聚/遮盖效果（在视觉上类似于雾或雾）以及附着在相机镜头或汽车挡风玻璃上的雨滴的形式引入人工制品。在本教程中，我们打算讨论如何恢复由于这些雨水伪影及其复合问题而导致的降级背景信息，从而增强场景的可见性。为了处理雨水条纹和雨水积聚，我们将简要讨论传统的非深度学习方法的演变，并将更多地关注于最新的深度学习方法的工作原理。目前，大多数基于深度学习的方法都是在监督下进行训练的，并提供了真实情况数据。但是，获得真实的地面真实数据非常困难。因此，现有方法依赖于呈现的合成数据。这种方法的问题在于，在降级复杂性，背景变化，光照变化等方面，合成数据与真实数据存在显着差异。因此，为了能够正确解决降雨条纹和降雨积聚的问题，我们需要超越综合训练。除了雨水条和雨水积聚之外，附着在玻璃窗或相机镜头上的雨滴还会严重妨碍背景场景的可见性并严重降低图像质量。已经提出了一些非深度学习方法来处理附着的雨滴，但是结果不足。这个问题是棘手的，因为首先没有给出被雨滴遮挡的区域。第二，关于被遮挡区域的背景场景的信息在很大程度上被完全丢失。为了解决该问题，现有技术方法使用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间，视觉注意力会了解雨滴区域及其周围环境。因此，通过注入此信息，生成网络将更加关注雨滴区域和周围的结构，而判别网络将能够评估恢复区域的局部一致性。有关被遮挡区域背景场景的信息在很大程度上已完全丢失。为了解决该问题，现有技术方法使用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间，视觉注意力会了解雨滴区域及其周围环境。因此，通过注入此信息，生成网络将更加关注雨滴区域和周围的结构，而判别网络将能够评估恢复区域的局部一致性。有关被遮挡区域背景场景的信息在很大程度上已完全丢失。为了解决该问题，现有技术方法使用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间，视觉注意力会了解雨滴区域及其周围环境。因此，通过注入此信息，生成网络将更加关注雨滴区域和周围的结构，而判别网络将能够评估恢复区域的局部一致性。现有技术方法利用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间，视觉注意力会了解雨滴区域及其周围环境。因此，通过注入此信息，生成网络将更加关注雨滴区域和周围的结构，而判别网络将能够评估恢复区域的局部一致性。现有技术方法利用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间，视觉注意力会了解雨滴区域及其周围环境。因此，通过注入此信息，生成网络将更加关注雨滴区域和周围的结构，而判别网络将能够评估恢复区域的局部一致性。
个人简介： Robby T. Tan是新加坡国立大学副教授，也是国大电气与计算机工程系的副教授。来新加坡之前，他曾是荷兰乌得勒支大学的助理教授，伦敦帝国学院的研究助理以及NICTA /澳大利亚国立大学的研究科学家。他在日本东京大学获得了计算机科学博士学位。他与ACCV 2014一起组织了有关图像恢复和增强的新兴主题（IREw）研讨会，并与CVPR 2019一起组织了“全季节视野：恶劣天气和夜间”研讨会。他曾担任ACCV 2010和ACCV 2018区域主席。他还担任ECCV 2016的出版物主席，并定期担任CVPR / ICCV / ECCV的程序委员会成员。他在CVPR 2008中进行的除雾工作被认为是单图像除雾文学的开创性工作。他的研究重点在恶劣的天气/夜间和基于物理的视觉领域。
相关内容
微信扫码咨询专知VIP会员