【Nature. Mach. Intell. 】基于深度学习的大气湍流效应成像退化机制及退化抑制研究

北航白相志教授团队在《Nature》子刊《Nature Machine Intelligence》（2021年第10期）以全文Article形式刊发了最新研究成果“Neutralizing the impact of atmospheric turbulence on complex scene imaging via deep learning”，提出了一种基于多尺度时空域注意力机制的生成对抗网络模型，逆向推理大气湍流效应导致的二维成像退化过程，揭示了深度学习在推演复杂随机物理过程方面的潜力。

大气湍流效应广泛存在于日常生活和工业生产中。在大雷诺数、惯性力对流场影响为主导的情况下，流体失稳并分化为尺度不一的湍涡，形成湍流。在高分对地观测、远距离成像探测、大范围安防监测等应用中，湍流使得大气折射率随时间和空间作无规则变化，导致光在传输过程中发生强度、相位和方向性波动，最终成像结果包含高度耦合的时变-空变模糊和几何畸变退化（图1）。而湍流的各向异性、不均匀性和不确定性，使得上述退化过程高度病态、高度非线性。因此，对这一物理过程进行逆向推理、抵消成像过程中大气湍流引起的退化效应是一项巨大挑战。

图1. 大气湍流效应下成像退化物理过程示意图

针对上述问题，白相志教授团队基于大气湍流效应成像退化机制进行半物理仿真，提出一种基于生成对抗网络的逆向推理方法（TSR-WGAN），抑制了光线波动引起的模糊效应（图2），缓解了光路变化导致的时域连续几何畸变与抖动（图3）。在PSNR、RRED等客观量化指标上均优于对比方法，在包含50名参与者的主观测试中总体得分指标领先对比方法50%以上（图4）。更为重要的是，该研究建立了大型仿真湍流数据集和真实湍流数据集（共27458段视频序列，包含411870帧图像），提供了视觉对比评测软件。研究成果可为后续湍流物理性质的探索提供理论支撑，在高分对地观测、远距离成像探测、大范围安防监测中有重要应用。

宇航学院2019级博士研究生晋达睿为该论文第一作者，白相志教授为通讯作者，北京航空航天大学为唯一完成单位。宇航学院博士研究生卢毅、陈俊彰、王鹏、郭胜，硕士研究生陈颖、刘子超在研究中也做出了重要贡献。该研究得到国家自然科学基金通用联合基金重点项目（批准号：U1736217）和国家重点研发计划（批准号：2019YFB1311301）的支持。

图2. TSR-WGAN改善图像模糊效应效果。图中左半部分为受大气湍流效应影响的退化图像，右半部分为TSR-WGAN校正后效果。

图3. TSR-WGAN（最后一列）与其他对比方法校正抖动与几何畸变效果对比

图4.基于Bradley-Terry模型计算得到的主观成像质量归一化评价指数结果，TSR-WGAN显著高于对比方法

论文链接：https://www.nature.com/articles/s42256-021-00392-1

参考链接：

http://bhkj.buaa.edu.cn/info/1013/6933.htm

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“ATDL” 就可以获取《【Nature. Mach. Intell. 】基于深度学习的大气湍流效应成像退化机制及退化抑制研究》专知下载链接

请扫码加入专知人工智能群（长按二维码），或者加专知小助手微信（zhuanzhi02），加入专知主题群（请备注主题类型：AI、NLP、CV、 KG、论文等）交流~

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资源