【泡泡传感器测评】Realsense D435测评

欢迎传感器厂商联系我们，这里既是一个评测平台，也是一个宣传平台。希望您能够通过泡泡机器人的"传感器评测"栏目，发布给合适的目标用户群。同时，也希望我们在评测过程中，为传感器提供有用的意见和建议，帮助传感器做的更好。

只要和SLAM相关的设备，我们都可以评测，包括但不限于单目、双目摄像头，RGBD摄像头，激光雷达，运动底盘，计算平台，imu传感器等等。

泡泡机器人-传感器评测专栏， 希望架起一座SLAM传感器的桥梁，在SLAM技术进化的道路上，起到一点点促进作用。

评测人：黄百川，周平

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

Realsense纵向比较

1.背景

    英特尔RealSense技术是一套深度和跟踪技术，旨在为机器和设备提供深度感知功能，使他们能够“看到”并了解世界。这些计算机视觉功能有许多用途，包括自主无人机，机器人，AR / VR，智能家居设备以及许多其他广泛的市场产品。RealSense技术由视觉处理器，深度和跟踪模块以及深度摄像头组成，由一个名为LibrealSense的开源跨平台SDK支持，简化了第三方软件开发人员，系统集成商，ODM和OEM的支持摄像头。

2.产品

   截至2019/08/07，英特尔Realsense系列产品包含: (1) Realsens200系列相机:F200和R200; (2)Realsense300系列相机: SR300和ZR300;(3)视觉处理器D4系列(硬件): D4和D4M; (4) RealsenseD400系列模块(硬件): D400,D410,D415,D420和D430; (5)最新发布的相机: D415 (D4视觉处理器和D415模块), D435(D4视觉处理器和D430模块)和D435i(D435+IMU)。

    视觉处理器，D400系列模块和深度相机关系如下：视觉处理器+模块=深度相机。                      

Realsense横向比较

    

    新型深度摄像头非常适合硬件原型设计者和软件开发者，设备采用了即用型USB供电形式，并且搭载了D400系列深度模块，具备完整光学深度解决方案。RealSense D415提供卷帘快门感应器和窄视野的小镜头。RealSense D435提供全局快门感应器和更大的镜头，以获得比便宜的D415相机更好的低光照性能。D435还具有更强大的RealSense模块D430。这两款RealSense D400系列摄像机的捕捉最远距离可以达到10米，而且新款在户外阳光下也可以使用，均支持输出1280x720分辨率的深度画面，更普通的视频传输方面可以达到90fps。

    D435i，该产品可以看作是D435的升级版。D435i和前代规格几乎相当，其特点是不仅提供深度传感器模组，还配备了一个IMU单元（惯性测量单元，采用的博世BMI055）。凭借内置的IMU单元，结合视觉数据可实现6DoF追踪功能。其中，IMU将各种线性加速度计和陀螺仪数据结合，可检测X，Y，Z三轴的旋转和平移，以及俯仰、横摇等动作。D435i的2000万像素RGB摄像头和3D传感器可以30帧/秒的速度提供分辨率高达1280 × 720，或者以90帧/秒的速度提供848 × 480的较低分辨率。该摄像头具有全局快门，可以处理快速移动物体，室内室外皆可操作。深度距离在0.1 m~10 m之间，视场角度为85 × 58度。

其中深度相机型号与sdk关系如下：

Realsense D435应用

1. IMU与相机标定(Kalibr)

    kalibr是成熟的标定imu和相机的开源系统，我们可以下载源码直接编译生成可执行文件，也可以下载其CDE精简版包。这中间有个坑就是CDE精简包是没有办法标定彩色图片的，而我们的D435输出的是彩色图。解决方法见(https://zhuanlan.zhihu.com/p/66939776)(感谢王泽明师兄的大力帮助)。

    考虑到有些同学没法翻墙，此处贴一下视频和字幕,字幕链接： 

(https://pan.baidu.com/s/1muc0GL4NTWbJZnsDZuM-fQ)

基本流程如下：

    1.1 标定参考物：棋盘格

    1.2 相机自标定结果：重投影误差1个像素以内；

    1.3 相机与imu外标定：重投影误差一个像素以内

这里不过多叙述标定细节，详情可看小觅测评上篇，中篇，下篇。

2 三维重建

2.1环境搭建

    (a)显卡（nvidia geforce 1060）驱动

    (b)CUDA9.0

    (c)Elasticfusion

    (d)D435

    详细配置过程见: 

   https://zhuanlan.zhihu.com/p/68985304

2.2 注意事项

(a) 如是采用tum数据集，数据集硬性条件：深度图16位，rgb图24位，且都要是640x480分辨率，associations.txt位depth在前，rgb在后。

(b) 我们需要在findopenni2.cmake文档中手动加入我们的openni2的路径。

(c) 因为官方的elasticfusion是只支持librealsense(SDK)1.0版本，但是现在买的d435或者d435i相机都是只支持libreasense2.0(即SDK2.0). 所以官方的库在不经过修改代码的情况下不可以支持d435实时三维重建。

2.3 实时展示

实时三维重建，支持回环和重定位

2.4 总结

    1.输出点云比较稀疏，但是在处理数据过程中可以显示纹理等细节信息;

    2.可以输入传感器内参数据;

    3.实时过程中可以打开回环检测和重定位功能;

    4.采集数据过程中，速度要尽量缓慢且初始时刻最好停留一段时间，类似初始化过程，这样效果会好。

参考文献及链接

[1]https://arxiv.org/abs/1909.05214

[2]https://zhuanlan.zhihu.com/p/66939776

[3]https://zhuanlan.zhihu.com/p/68985304

[4]https://github.com/ethz-asl/kalibr

[5]https://github.com/ethz-asl/kalibr/wiki/downloads

[6]https://pan.baidu.com/s/1muc0GL4NTWbJZnsDZuM-fQ

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com