VALSE 论文速览 第28期：基于混合神经网络的事件场合成孔径成像

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自武汉大学的工作。该工作由余磊，杨文和夏桂松教授指导，张翔同学录制，将为大家呈现合成孔径去遮挡成像的相关进展。

论文题目：基于混合神经网络的事件场合成孔径成像

作者列表：张翔 (武汉大学)，廖伟 (武汉大学), 余磊 (武汉大学), 杨文 (武汉大学), 夏桂松 (武汉大学)

B站观看网址：

https://www.bilibili.com/video/BV1JL411M7n5/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

在目标受遮挡的情况下，合成孔径成像算法能够通过多视角观测收集充分的目标信息，并通过图像合成虚化前景遮挡，重建出无遮挡的目标图像。然而，基于普光相机的合成孔径成像方法在密集遮挡的情况下难以收集丰富的有效信息进行去遮挡重建，并且在极端光照场景中会出现过曝光/欠曝光的问题，无法完成合成孔径成像任务。针对以上问题，我们提出了基于事件相机的合成孔径成像算法。首先利用事件相机的低延时和响应亮度变化的特点，将密集遮挡转变为激发事件点的有利工具，从而收集丰富的目标信息进行重建。其次事件相机的高动态范围优势也使得本系统能够在极端光照场景中正常工作，并有效完成合成孔径成像任务。我们提出的算法主要包含事件重聚焦和图像重建两个步骤。首先通过事件重聚焦将多视角下拍摄得到的目标信息对齐，随后构建包含脉冲神经网络与卷积神经网络的混合架构提取事件数据的时空信息，并重建出无遮挡的视觉图像。实验表明我们所提的方法能够有效克服密集遮挡与极端光照环境的干扰，并能从纯事件数据中重建出质量较好的无遮挡视觉图像。

论文信息：

[1]Xiang Zhang, Wei Liao, Lei Yu, Wen Yang, Gui-Song Xia, “Event-based Synthetic Aperture Imaging with a Hybrid Network,” in Proceeding of IEEE Computer Vision and Pattern Recognition (CVPR 2021), June 2021.

论文链接：

[https://openaccess.thecvf.com/content/CVPR2021/html/Zhang_Event-Based_Synthetic_Aperture_Imaging_With_a_Hybrid_Network_CVPR_2021_paper.html]

代码链接：

[https://github.com/dvs-whu/E-SAI]

视频讲者简介：

张翔同学目前就读于武汉大学，电子信息学院二年级硕士生，导师为余磊副教授。研究兴趣包括计算机视觉和神经形态计算，发表1篇论文入选CVPR 2021 Best Paper Candidate。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：张长青 (天津大学)、江波 (安徽大学)

季度责任AC：许永超 (武汉大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3. VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～