VALSE 论文速览 第11期：GeoSim: 自动驾驶中高清逼真的相机仿真

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自Uber ATG、多伦多大学、斯坦福大学和麻省理工大学作者共同完成的自动驾驶的相机仿真方面的工作。该工作在王申龙助理教授和Raquel Urtasun教授等指导下完成，并由陈云录制视频。

论文题目：GeoSim: 自动驾驶中高清逼真的相机仿真

作者列表：陈云 (ATG研究员), Frieda Rong (斯坦福PhD, ATG研究员), Shivam Duggal (ATG研究员), 王申龙 (ATG研究员&多伦多大学PhD),  严欣辰 (ATG研究员), Sivabalan Manivasagam (ATG研究员&多伦多大学PhD), 薛尚捷 (ATG Intern&MIT Master), Ersin Yumer (ATG研究员), Raquel Urtasun (ATG首席科学家&多伦多大学教授)）

B站观看网址：

https://www.bilibili.com/video/BV1Rq4y1K7PG/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

自动驾驶相机仿真的目标是生成指定视角的图片，可以用来测试和训练自动驾驶系统。然而这个任务目前还没有很好的解决方案：使用3D引擎渲染的图片不够逼真，使用2D GAN生成的图片难以进行3D控制。在这篇工作中，我们处理的是相机仿真中一个重要的子任务-动态物体仿真：给定一个背景视频, 将运动的物体插入到视频中。我们结合了图形学和神经网络的方法,  提出了GeoSim：先利用无人车采集的数据三维重建出动态物体, 而后将重建的物体插入到视频之中。GeoSim最大程度的利用已知的3D信息，生成的视频取得了大幅领先的视觉逼真度，并可扩展到大规模的自动驾驶应用场景。

论文信息：

[1] Chen, Yun, et al. "GeoSim: Realistic Video Simulation via Geometry-Aware Composition for Self-Driving." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

论文链接：

[https://arxiv.org/abs/2101.06543]

项目主页：

[https://tmux.top/publication/geosim]

视频讲者简介：

陈云，曾任职于Uber无人车团队，现任waabi.ai研究员, 多伦多大学2021级博士生，主要从事自动驾驶与3D计算机视觉等研究。

个人主页：

https://tmux.top

特别鸣谢本次论文速览主要组织者：

月度轮值AC：沈为 (上海交通大学)、赵恒爽 (牛津大学)

季度责任AC：王兴刚 (华中科技大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ Q群，群号：698303207）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3. VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～