终于来了!【图图Seminar03】回顾与总结
芒种初夏，梅雨时节的降水、雾气、阴霾都将成为导致图像低见度的“元凶“。
图图Seminar
计算机领域名师学者，通过在线直播，精解基础概念、分析算法原理、剖析经典案例、推荐必读书籍/论文。
在图图Seminar第三期中，【去雨、去雾、低照度】成为大家热烈讨论的关键词，当晚直播，B站、知网在线教学、腾讯会议三个平台人气高涨，主讲嘉宾石争浩教授的报告激发了大家的思考，共收到来自网友近40个提问，图图汇总了本期直播内容，还包括视频回放，精选答疑，现场补充答疑，获奖名单哦
为便于构建整体框架，在报告第一部分，石争浩老师用三页PPT详述去雾、去雨、低照度图像增强的发展脉络：
来看看石老师的总结和讨论：
“半生痴绝事，去雾望远山“，报告第二部分，石老师分享了其研究团队近十年在低见度图像增强领域开展的一系列工作，并深入介绍了其工作中的六大探索实践：
点击视频了解石争浩教授团队近年工作：
快来加入图图社区，获得石老师的报告文件，还有更多专属精彩等着你哦~~
不小心错过了现场直播？还想看回放？没问题！图图在知网在线教学和B站两个平台上都准备了直播回放，点击链接即可围观。
http://k.cnki.net/CInfo/Index/5531
获奖网友微信名或知网昵称：
陈泽彬
应旭
FDD
朱志亮-华东交大
珞珈少年ya
jd
苏静
Plan1501Behemoth
孙国栋
请以上网友联系学报编辑提供邮寄信息
对直播现场的补充答疑
（向上滑动查看更多）
Q1：老师您好，您团队沙尘图像增强改进方法的效率提高了多少？改进后方法的精度可用于批处理么？水下图像的处理是和去雨图像的类似吗？
A：这里的效率如果是指图像整体清晰度的话，我们这里采用了一个MCMA指标对真实图像增强效果进行衡量，清晰度提高了12%，如果是指运行时间，改进方法比原方法平均缩短了0.06s。水下图像的处理和沙尘图像、雾霾图像的处理类似，和图像去雨是属于不同类型的问题。
Q2：请问做目标分割时，目标被阴影遮挡怎么解决？
A：图像处理中，有一个专门的研究方向是图像去阴影。所以考虑做图像分割前，先做阴影去除运算。
Q3：我想向老师请教一下，您可否简单介绍一下深度学习在遥感图像增强领域的一些应用呢？
A：深度学习算法在遥感图像处理领域是否也能发挥它的“神奇”功效，在哪些方面遥遥领先于传统方法呢？这里推荐中国图象图形学报微信公号发布的微推：
对2017—2019年发表的深度学习在遥感图像处理中的应用工作进行梳理，主要分为：遥感图像检索、遥感图像融合、遥感图像超分辨率重建、高光谱图像分类、高分辨率遥感图像分类、SAR图像目标识别等。
Q4：RGB图像的和卫星遥感图像进行深度学习有什么不同呢？
A：从方法原理、处理思路角度看，两者没有特别不同，方法是通用的。
Q5：石老师，您好。我是卫星遥感图像地表信息提取的，也非常关注如何准确去除气溶胶影响（haze)，我们领域以往会考虑幅射光在不同气溶胶颗粒（水汽是其中较重要的一种成分，凝结后就是咱们今天的主题雨了）中的消光情况，因为一般雾霾/气溶胶在空间分布上优势异质性较强，我咨询如下问题：
目前的深层神经网络是如何考虑haze或rain在空间上的不均一性？学习神经网络或构建网络时是否有相关的处理？
卫星遥感图像波段除了可见光，还有些其他红外和热通道，想了解下目前的神经网络是否已经耦合了这类信息，处理思路大概怎样？谢谢！
A：这两个问题问的非常专业。我的思考如下：
图像去雨是一种图像分层处理过程，雨线雨滴主要存在于高频图像中，所以深度网络去雨，主要是对高频图像部分进行处理。这样一来，对于雨在空间分布是否均匀，其实对于去雨的效果影响不大，因此，去雨方法，一般不将雨滴空间分布均匀作为主要考虑影响因素。这个因素对于去雾去雨网络的构建当然有影响，必须考虑。
有很多这方面的文章。一般思路是将深度学习和多视图学习，或者多任务学习结合起来。
Q6：石老师您好，去除图像反光这一工作跟老师讲的一系列去雨去雾工作原理一样吗？图像去雨去雾的一些工作，您认为有哪些网络结构或模型算法可以用在医学图像处理上呢？
A：去反光和低照（暗光）图像的增强处理属于同一类问题，可以参考低照图像增强的方法。现在用于常规图像增强的方法，一般都可以用于医学图像增强，只是医学图像增强一般关注的对象需要和临床结合，所以具体处理时，还需和具体研究对象进行结合考虑，没有一个统一的方法框架可以参考。
Q7：石老师好，请问图像去雨去雾的一些工作，有没有可以用在去模糊方面的呢？
A：去雾霾去雨方法一般都会考虑图像模糊退化，所以直接采用这些方法，肯定对去模糊有一定作用。但毕竟关注对象不同，具体应用时候，还需根据实际问题，进行改进。
Q8：石老师，您好，有两个问题：1）有无可能通过引入知识或建立模型，提出能解决均匀雾与非均匀雾的问题；2）医学图像处理中，有因光照、噪声等带来图像低质的问题。与一般去雾问题不同，医学图像的增强对原信息的保真度要求很高，请教石老师，在平衡对比度和保真度方面，有无什么建议？
A：1）从理论上说，是可以的。只是处理起来会比较复杂。现有方法，为了处理方便，一般都是假设雾的分布是均匀的。
2）传统图像增强的方法只是单纯地增强图像的对比度，而对图像的视觉效果、信息保真度等都没有保证，如果想平衡对比度和保真度，比较好的方法就是结合医学成像模型对医学影像进行复原，或者将成像模型和生成对抗网络相结合。
Q9：石老师，您好，我想问一下：
1）就目前除低光照问题采用了无监督方式，对于其他图像增强目前有哪些无监督的进展吗？
2）对于目前低光照采用无监督和自监督方法还有哪些需要改进，和目前遇到的还有哪些待解决的问题？
3）尺度差异较大的目标在同一网络结构进行检测识别有什么好的解决思路吗？
A：1）目前在几乎所有的图像增强问题处理中，基于无监督学习的增强方法，都扮演了重要角色。目前一个重要的研究趋势或者进展就是各种各样GAN网络，或者是GAN网络和物理模型结合，被应用于这一问题的解决中。
2）低光照增强任务目前存在三个难点：
如何有效的从单张图像中估计出光照图成分，并且可以灵活调整光照level?
在提升图像亮度后，如何移除诸如噪声和颜色失真之类的退化？
在没有ground-truth的情况下，样本数目有限的情况下，如何训练模型？
未来需要考虑的解决问题
如何将生成对抗网络和物理模型进行结合
低光照情况下反射图往往存在着退化效应，如何解决
如何将监督/弱监督学习模型结合起来应用于实际图像增强中。
3）对于这个问题，我没有做过研究，但我看过一篇文章，facebook提出的FPN（特征金字塔网络）可以较好解决该问题，这种网络不是一味地进行下采样提取语义特征去识别物体，而是从顶层（自上而下）的每一层都进行上采样获取更准确的像素位置信息（有些类似残差网络的跳层连接。详细信息参见
Q10：石老师，您好。去雨去雾能不能在一个统一的深度学习框架下解决？有没有可能把一些图像处理的先验性知识融合到深度学习网络里面，提升去雨去雾的效果？
A：我的认识是可以的，也有文献，包括我们报告的第5个工作，也都在做这一方面的努力。但目前还没有一个好的解决方案。经先验和深度模型进行融合，是提升去雨去雾效果的一个好思路，2019年后的很多工作都是这样的处理方法。
石争浩，西安理工大学计算机科学与工程学院，教授，硕士生导师。国家自然基金/陕西省自然基金/江西省自然基金通讯评阅专家，教育部学位与研究生教育发展中心研究生学位论文评审专家 ，陕西省计算机学会理事/陕西省大数据云计算产业联盟理事，中国计算机学会计算机体系结构专业委员会委员，中国图象图形学学会3D视觉专业委员会委员。
主要研究方向为机器视觉、医学图像处理及机器学习，以第一作者或通信作者发表及录用学术论文40篇，其中ESI高被引论文1篇，SCI论文24篇。获陕西省科技进步二等奖2项，西安科技进步二等奖1项，陕西高等学校科学技术二等奖2项，陕西高等学校科学技术三等奖1项。
E-mail：ylshi@xaut.edu.cn
个人主页：
汪荣贵——机器学习基本知识体系与入门方法
知网在线教学服务平台：
http://k.cnki.net/CInfo/Index/5063
陈强——从Cell封面论文谈AI研究中的实验数据问题
知网在线教学服务平台：
http://k.cnki.net/CInfo/Index/4977
石争浩——从先验到深度：低见度图像增强
知网在线教学服务平台：
前沿进展 | 多媒体信号处理的数学理论
中国卫星遥感回首与展望
单目深度估计方法：现状与前瞻
目标跟踪40年，什么才是未来？
10篇CV综述速览计算机视觉新进展
算法集锦 | 深度学习在遥感图像处理中的六大应用
封面故事 | 从传统到深度：火灾烟雾识别综述
封面故事 | 光场数据压缩综述
学者观点 | 结合深度学习和半监督学习的遥感影像分类
编辑推荐 | 视频 + 地图！四维信息助力实景中国
深度学习+图像降噪，如何解决“卡脖子”问题？
专家推荐|高维数据表示：由稀疏先验到深度模型
专家报告 | AI与影像“术”——医学影像在新冠肺炎中的应用
专家推荐|真假难辨还是虚幻迷离，参与介质图形绘制让人惊叹！
学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】
专家报告|深度学习+图像多模态融合
专家报告 | 类脑智能与类脑计算
实战例题！200+PPT带你看懂监督学习
118页PPT！机器学习模型参数与优化那些事儿~
专家开讲 | 机器学习究竟是什么？
羡慕别人中了顶会？做到这些你也可以！
如何阅读一篇文献？
共享 | SAR图像船舶切片数据集
资源分享| 不知道如何获取最新的算法资讯？快来这里看一看
资源分享|热门IT资讯号推荐
《中国图象图形学报》2020年第2期目次
《中国图象图形学报》2020年第1期目次
本文系《中国图象图形学报》独家稿件
内容仅供学习交流
版权属于原作者
欢迎大家关注转发！
编辑：秀 秀
指导：梧桐君
审校：夏薇薇
总编辑：肖 亮
声 明
欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。
相关内容
微信扫码咨询专知VIP会员