【泡泡一分钟】基于视觉传感器的三维空间几何重建(3dv-16)

2017 年 12 月 18 日 泡泡机器人SLAM 泡泡一分钟
【泡泡一分钟】基于视觉传感器的三维空间几何重建(3dv-16)

每天一分钟,带你读遍机器人顶级会议文章


标题:3D Room Geometry Reconstruction Using Audio-Visual Sensors

作者:Hansung Kim、 Luca Remaggi、Philip JB Jackson、Filippo Maria Fazi and Adrian Hilton

来源:3dv-2017(International Conference On 3D vision)

播音员:Amy

编译:赵江龙 周平

欢迎个人转发朋友圈;其他机构或自媒体如需转载,后台留言申请授权

摘要

 

        本文提出了一种基于长方体的门式房间气密性结合视听传感器的几何估计方法。现有的基于视觉的三维侦察方法不适用于具有父代或反射物体的场景,如窗口和镜像。


        在这项工作中,我们融合多模态的感官信息,以超过纯粹的视觉重建的局限性,重新构造复杂的场景,包括透明和镜面。一个完整的场景是由360台摄像机和声学房间脉冲响应(RIR)捕获的扬声器和麦克风阵列记录紧凑。通过拍摄图像的立体匹配和从声音中估计主要声反射器位置来恢复场景的深度信息。将视听传感器的坐标系统统一成一个统一的参考框架,并从视听数据中重建平面单元。


      最后,将长方体代理安装到平面上以生成完整的房间模型。实验结果表明,无论透明窗口、特征墙和光亮表面,所提出的系统都能完整地表达房间结构。




Abstract


In this paper we propose a cuboid-based air-tight indoor room geometry estimation method using combination of audio-visual sensors. Existing vision-based 3D reconstruction methods are not applicable for scenes with transparent or reflective objects such as windows and mirrors. In this work we fuse multi-modal sensory information to overcome the limitations of purely visual reconstruction for reconstruction of complex scenes including transparent and mirror surfaces. A full scene is captured by 360 ◦ cameras and acoustic room impulse responses (RIRs) recorded by a loudspeaker and compact microphone array. Depth information of the scene is recovered by stereo matching from the captured images and estimation of major acoustic reflector locations from the sound. The coordinate systems for audio-visual sensors are aligned into a unified reference frame and plane elements are reconstructed from audio-visual data. Finally cuboid proxies are fitted to the planes to generate a complete room model. Experimental results show that the proposed system generates complete representations of the room structures regardless of transparent windows, featureless walls and shiny surfaces.


如果你对本文感兴趣,想要下载完整文章进行阅读,可以关注【泡泡机器人SLAM】公众号


在【泡泡机器人SLAM】公众号(paopaorobot_slam)中回复关键字“3dv16”,即可获取本文下载链接。

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成,希望大家珍惜我们的劳动成果,转载请务必注明出自【泡泡机器人SLAM】微信公众号,否则侵权必究!同时,我们也欢迎各位转载到自己的朋友圈,让更多的人能进入到SLAM这个领域中,让我们共同为推进中国的SLAM事业而努力!

商业合作及转载请联系liufuqiang_robot@hotmail.com

登录查看更多
3

相关内容

3DV(3D视觉)会议提供了一个绝佳的平台,用于传播研究结果,涵盖计算机视觉和图形3D研究领域的广泛主题,包括新型光学传感器,信号处理,几何建模,表示和传输,可视化和交互以及各种应用程序。 官网地址:https://dblp.uni-trier.de/db/conf/3dim/
小贴士
相关资讯
【泡泡一分钟】基于表面的自主三维建模探索
泡泡机器人SLAM
8+阅读 · 2019年9月10日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
22+阅读 · 2019年1月17日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
8+阅读 · 2019年1月16日
【泡泡一分钟】用于平面环境的线性RGBD-SLAM
泡泡机器人SLAM
6+阅读 · 2018年12月18日
【泡泡一分钟】动态环境下稳健的单目SLAM
泡泡机器人SLAM
9+阅读 · 2018年3月22日
相关论文
Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph Convolutional Networks
Jiangke Lin,Yi Yuan,Tianjia Shao,Kun Zhou
7+阅读 · 2020年3月12日
Real-time Scalable Dense Surfel Mapping
Kaixuan Wang,Fei Gao,Shaojie Shen
5+阅读 · 2019年9月10日
Sparse2Dense: From direct sparse odometry to dense 3D reconstruction
Jiexiong Tang,John Folkesson,Patric Jensfelt
9+阅读 · 2019年3月21日
3D Hand Shape and Pose Estimation from a Single RGB Image
Liuhao Ge,Zhou Ren,Yuncheng Li,Zehao Xue,Yingying Wang,Jianfei Cai,Junsong Yuan
15+阅读 · 2019年3月3日
MID-Fusion: Octree-based Object-Level Multi-Instance Dynamic SLAM
Binbin Xu,Wenbin Li,Dimos Tzoumanikas,Michael Bloesch,Andrew Davison,Stefan Leutenegger
8+阅读 · 2018年12月20日
Monocular Total Capture: Posing Face, Body, and Hands in the Wild
Donglai Xiang,Hanbyul Joo,Yaser Sheikh
4+阅读 · 2018年12月4日
Joint Monocular 3D Vehicle Detection and Tracking
Hou-Ning Hu,Qi-Zhi Cai,Dequan Wang,Ji Lin,Min Sun,Philipp Krähenbühl,Trevor Darrell,Fisher Yu
8+阅读 · 2018年12月2日
Structure Aware SLAM using Quadrics and Planes
Mehdi Hosseinzadeh,Yasir Latif,Trung Pham,Niko Suenderhauf,Ian Reid
4+阅读 · 2018年8月13日
Lakshmi Shrinivasan,Prasad N R
6+阅读 · 2018年1月21日
Rajesh Doriya,Paresh Sao,Vinit Payal,Vibhav Anand,Pavan Chakraborty
4+阅读 · 2017年1月29日
Top