【泡泡一分钟】一种在遮挡场景下的视觉机械手跟踪算法

会员服务 ·

【泡泡一分钟】一种在遮挡场景下的视觉机械手跟踪算法

2019 年 7 月 5 日 泡泡机器人SLAM

每天一分钟，带你读遍机器人顶级会议文章

标题：Visual Articulated Tracking in the Presence of Occlusions

作者：Christian Rauch, Timothy Hospedales, Jamie Shotton, Maurice Fallon

来源：2018 IEEE International Conference on Robotics and Automation (ICRA) May 21-25, 2018, Brisbane, Australia

编译：董文正

审核：颜青松，陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

本文研究的是机器人机械手在抓取物体时的视觉跟踪问题。当被抓物体和环境中的杂物造成视觉干扰时，跟踪容易失败。当前最先进的方法是通常依靠最近迭代点（ICP）的模型拟合，当存在干扰数据时往往跟踪失败且不能恢复。同时，图像区别算法采用只训练跟踪对象的部分，在这种场景下也会跟踪失败，遮挡物的数据点会被错误地分类。我们建议使用随机森林将每个像素数据关联到模型，在模型拟合时避免局部最小值。通过人工遮挡训练随机森林，我们能增加算法对场景中遮挡物体识别的鲁棒性。我们在未知抓取物体的类型和定位信息的情况下做的实验。我们的方法运行了来源于RGB-D相机的稠密深度数据，证明了算法在抓取和在遮挡的情况下可以跟踪机器人机械手。

图1 在抓取任务（a）期间跟踪机械手（彩色网格）的姿势。基线方法（b）将操纵对象的数据点分配给手指部分（d）导致手掌向瓶子移动。我们的方法（c）通过正确分类手掌的像素来保持手掌姿势估计稳定。尽管被抓取对象的像素分散被错误地分类（e）。

图2 使用DA-SDF（最短距离）或DA-RF（预测部分）的迭代姿势优化的流程图。

图3 使用特征配置Θ：{u，v}探测遮挡边界（蓝色区域）附近。偏移v正在探测被遮挡的像素。在训练期间，将在图像中的该位置处模拟替代深度值，其产生不同的特征响应。

图4 增加对遮挡的鲁棒性：在训练期间，更换机器人部（灰色）的原始深度值dI(x)通过从移位概率绘制的深度do(x)半正态分布的密度函数（蓝色）。

图5 KUKA LWR 4（7DOF）与Schunk SDH2（7DOF）安装在带有AprilTags的桌子上，用于相机姿势估计。

图6 实验1：Palm姿势跟踪误差。平均：DA-SDF：0.8±0.2cm，0.06±0.02rad; DA-RF：1.3±0.4cm，0.09±0.03rad; DA-RF-OCCL：1.3±0.6cm，0.15±0.07rad。

图7 显示所有手指静态位姿的收敛分析。

图8 实验1：收敛后的Palm姿势误差一个扰动的初始姿势。DA-SDF有许多本地最小值这导致大多数试验收敛超过距离真实参考姿势1.5厘米和0.3rad大多数DA-RF试验都在这些范围内收敛。

图9 实验1：示例姿势和数据关联收敛后。DA-SDF迭代地分配拇指（青色）到两个手指（d），导致收敛到a当地最低标准（b）。RF（e）正确分割区分手指和拇指，并允许优化以收敛到正确的姿势（c）。

图10 实验2：抓住并操纵瓶子。

图11 实验2：抓握时的手掌姿势估计并移动瓶子（灰色阴影阶段）。DA-SDF跟踪器当被操纵的物体拉开手掌时，它会有偏差从它的真实位置。平均跟踪误差：DA-SDF：8.3±9cm，1.15±0.39rad，DA-RF：1.5±0.6cm，0.2±0.15rad。

图12 来自实验的示例图像3。跟踪是在未被遮挡的配置（a）初始化时，手移动在绿色瓶子后面（b）并返回到未被遮挡的状态配置（三）。

图13 手掌和手指的类概率。训练没有遮挡（a）导致高分类保密错误地将闭塞的手掌分配给瓶子（a，左）并将指尖分配给机器人的实际手指提示（a，右）。在引入随机遮挡之后培训（b），我们可以减少分配瓶子的信心像素到机器人手掌（b，左），但保持高信心指尖分类（b，右）。

图14 数据关联的精确回忆曲线如下所示二进制分类，对所有实验图像求平均值3. DA-RF：无闭塞训练（AUC：0.86），DA-RF OCCL：闭塞训练（AUC：0.89）。盘旋位置标记所选的拒绝阈值（0.55）追踪。

图15 指尖的类概率不同偏移距离。通过减少探头偏移距离和提供更多本地信息，我们可以移动概率从瓶角（a）到真正的指尖位置（b）。

图16 没有遮挡的实验3：掌姿跟踪删除对象后出错。平均值：DA-SDF：1.3±0.4cm， 0.07±0.04rad; DARF1.9±0.7cm，0.12±0.08rad; DARF-OCCL 1.8±0.8cm，0.22±0.14rad。

图17 具有遮挡的实验3：掌纹姿势跟踪移动过程中出现接近遮挡的错误（灰色阴影相）。平均值：DA-SDF10.4±8.6cm，0.8±0.63rad; DA RF：6.8±5.1cm，0.44±0.26rad; DA-RF-OCCL1.7±0.8cm，0.22±0.14rad。

Abstract

This paper focuses on visual tracking of a robotic manipulator during manipulation. In this situation, tracking is prone to failure when visual distractions are created by the object being manipulated and the clutter in the environment. Current state-of-the-art approaches, which typically rely on model-fitting using Iterative Closest Point (ICP), fail in the presence of distracting data points and are unable to recover.Meanwhile, discriminative methods which are trained only to distinguish parts of the tracked object can also fail in these scenarios as data points from the occlusions are incorrectly classified as being from the manipulator. We instead propose to use the per-pixel data-to-model associations provided from a random forest to avoid local minima during model fitting. By training the random forest with artificial occlusions we can achieve increased robustness to occlusion and clutter present in the scene. We do this without specific knowledge about the type or location of the manipulated object. Our approach is demonstrated by using dense depth data from an RGB-D camera to track a robotic manipulator during manipulation and in presence of occlusions.

如果你对本文感兴趣，请点击点击阅读原文下载完整文章，如想查看更多文章请关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

百度网盘提取码：peci

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/