VALSE 论文速览 第08期：基于单张图像的三维场景重建

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自阿德莱德大学和Adobe Research的三维场景重建方面工作。该工作由沈春华教授和Jianming Zhang, Oliver Wang等高级研究员指导，尹炜同学录制，将为大家呈现单目场景重建最前沿的进展。

论文题目：基于单张图像的三维场景重建

作者列表：尹炜 (阿德莱德大学)、Jianming Zhang (Adobe Research)、Oliver Wang (Adobe Research)、Simon Niklaus (Adobe Research)、Long Mai (Adobe Research)、Simon Chen (Adobe Research)、沈春华 (阿德莱德大学)

B站观看网址：

https://www.bilibili.com/video/BV1S64y1e7qD/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

单目深度估计以及场景三维重建旨在从一张输入图像重建出场景的深度信息以及3D结构。尽管最新的工作在单目深度估计的泛化性方面取得了重大进展，但由于在混合数据训练中使用的仿射不变性的深度估计，会引起未知深度的偏移，使得获取的深度无法用于恢复准确的 3D 场景形状。并且当相机焦距未知时，也无法进行准确的重建。我们详细研究了这个问题，并提出了一个两阶段框架，首先从单目图像中预测放射不变性的深度，然后使用 3D点云网络来预测缺失的深度偏移和焦距，这使我们能够恢复逼真的 3D 场景形状。此外，我们提出了基于单张图像的归一化回归代价函数和配对点的法矢量的回归代价函数，以提升在混合数据集上训练的深度预测精度。我们在 9 个未见过的数据集上测试了深度模型，在零样本数据集泛化上实现了最好的性能。本文入选了CVPR 2021的口头报告，并获得了CVPR2021最佳论文奖提名。

论文信息：

[1] Wei Yin, Jianming Zhang, Oliver Wang, Simon Niklaus, Long Mai, Simon Chen, Chunhua Shen,“ Learning to Recover 3D Scene Shape from a Single Image,” in Proceeding of IEEE Computer Vision and Pattern Recognition (CVPR), June 2021. 

论文链接：

[https://arxiv.org/abs/2012.09365]

视频讲者简介：

尹炜，阿德莱德大学计算机系三年级博士生。研究兴趣包括零样本迁移学习，场景深度估计，场景语义理解。在CVPR，ICCV，AAAI, TPAMI等国际会议和期刊上发表多篇论文，并在ICCV，CVPR，TRO等国际会议和期刊上担任审稿人。

看到这了，确定不关注下吗？关注下再走吧～

特别鸣谢本次论文速览主要组织者：

月度轮值AC：王栋 (大连理工大学)、王鹤 (北京大学)

季度责任AC：王兴刚 (华中科技大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，直播地址：https://live.bilibili.com/22300737；VALSE的近期历史视频可在这里观看：https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ Q群，群号：698303207）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3. VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。