谷歌X实习生最新开源：BundleTrack - 无需任何CAD模型的6D物体姿态跟踪算法

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

最近，谷歌X的实习生Bowen Wen新开源了用于6D物体姿态跟踪的代码BundleTrack，该工作已经被今年的IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)录用。其中Bowen Wen为该论文唯一学生作者，此前也是se(3)-TrackNet的第一作者（目前state of art的基于CAD模型的6D姿态跟踪算法），目前为美国Rutgers大学的 在读博士，过去几年曾在Facebook Reality Labs, 亚马逊和商汤科技实习。

 再来看看作者今年IROS的介绍视频，了解一下该工作的主要内容

该开源项目主要贡献如下

1.一个全新的6D物体姿态算法，不需要实例或类级别的CAD模型用于训练或测试阶段。该算法可立即用于新颖物体的6D姿态跟踪

2.在NOCS数据集上的创下全新记录，将以往的表现从33.3%大幅度提升到87.4%。在YCBInEOAT数据集上也达到了跟目前基于CAD模型的领先方法se(3)-TrackNet相近的表现。特别值得注意的是，与以往state of art的6D物体姿态跟踪方法相比，BundleTrack并不需要类级别的物体进行训练，也不需要测试阶段物体的CAD模型作模板匹配，减少了很多假设。

3.首次将具有记忆功能的位姿图优化引入6D物体姿态跟踪。除了相邻帧的匹配还能够借助带记忆功能的历史帧解决特征匹配不足和跟踪漂移问题。

高效的CUDA编码，使得本来计算量庞大的位姿优化图能在线实时运行，达到10Hz。足够用于AR/VR，视觉反馈控制操纵，物体级SLAM等。

   

亮点

开源项目

以下是新开源代码相关的论文、视频、代码、作者个人主页等信息

论文名称：

BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

  论文下载：

https://arxiv.org/pdf/2108.00516.pdf

 代码链接：

https://github.com/wenbowen123/BundleTrack

 作者个人主页：

https://www.linkedin.com/in/bowen-wen/

  先来看一下与其他方法对比的效果（视频时长1min）

独家重磅课程！

1、VIO课程：VIO灭霸：ORB-SLAM3源码详解，震撼上线！

2、图像三维重建课程（第2期）：视觉几何三维重建教程（第2期）：稠密重建，曲面重建，点云融合，纹理贴图

3、重磅来袭！基于LiDAR的多传感器融合SLAM 系列教程：LOAM、LeGO-LOAM、LIO-SAM

4、系统全面的相机标定课程：单目/鱼眼/双目/阵列 相机标定：原理与实战

5、视觉SLAM必备基础（第2期）：视觉SLAM必学基础：ORB-SLAM2源码详解

6、深度学习三维重建课程：基于深度学习的三维重建学习路线

7、激光定位+建图课程：激光SLAM怎么学？手把手教你Cartographer从入门到精通！

全国最棒的SLAM、三维视觉学习社区↓

技术交流微信群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群，请添加微信号 chichui502 或扫描下方加群，备注：”名字/昵称+学校/公司+研究方向“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

投稿、合作也欢迎联系：simiter@126.com

扫描关注视频号，看最新技术落地及开源方案视频秀 ↓

—   版权声明  —

本公众号原创内容版权属计算机视觉life所有；从公开渠道收集、整理及授权转载的非原创文字、图片和音视频资料，版权属原作者。如果侵权，请联系我们，会及时删除。