We propose a novel low-complexity lidar gesture recognition system for mobile robot control robust to gesture variation. Our system uses a modular approach, consisting of a pose estimation module and a gesture classifier. Pose estimates are predicted from lidar scans using a Convolutional Neural Network trained using an existing stereo-based pose estimation system. Gesture classification is accomplished using a Long Short-Term Memory network and uses a sequence of estimated body poses as input to predict a gesture. Breaking down the pipeline into two modules reduces the dimensionality of the input, which could be lidar scans, stereo imagery, or any other modality from which body keypoints can be extracted, making our system lightweight and suitable for mobile robot control with limited computing power. The use of lidar contributes to the robustness of the system, allowing it to operate in most outdoor conditions, to be independent of lighting conditions, and for input to be detected 360 degrees around the robot. The lidar-based pose estimator and gesture classifier use data augmentation and automated labeling techniques, requiring a minimal amount of data collection and avoiding the need for manual labeling. We report experimental results for each module of our system and demonstrate its effectiveness by testing it in a real-world robot teleoperation setting.


翻译:我们提出一个新的低复杂里拉手势识别系统,用于机动机器人控制,使其适应于手势变异。我们的系统使用模块化方法,包括一个表面估计模块和一个手势分类器。通过使用现有立体表面估计系统培训的进化神经网络,从利达尔扫描中预测Pose的估计数。通过长期短期内存网络完成定位分类,并使用一个估计体积序列作为预测动作的投入。将管道分成两个模块,可以减少输入的维度,这可以是利达尔扫描、立体图像或任何其他模式,从中提取身体关键点,使我们的系统较轻,适合以有限的计算能力进行移动机器人控制。使用利达尔有助于系统稳健,使其能够在大多数室外条件下运作,独立于照明条件,投入被检测到机器人周围360度。基于利达尔的姿势测测和姿态定分解器使用数据增强和自动标签技术,这可能需要最低限度的数据收集量,并避免人工标签的需要。我们报告每个系统的实际操作性测试模型的实验结果。我们报告每个系统在实际操作性测试过程中的试验结果。

0
下载
关闭预览

相关内容

专知会员服务
19+阅读 · 2021年9月16日
专知会员服务
31+阅读 · 2021年6月12日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
57+阅读 · 2020年5月9日
专知会员服务
60+阅读 · 2020年3月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
39+阅读 · 2019年10月9日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
机器人开发库软件大列表
专知
10+阅读 · 2018年3月18日
【泡泡一分钟】Matterport3D: 从室内RGBD数据集中训练 (3dv-22)
泡泡机器人SLAM
16+阅读 · 2017年12月31日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
【推荐】SLAM相关资源大列表
机器学习研究会
10+阅读 · 2017年8月18日
Review: deep learning on 3D point clouds
Arxiv
5+阅读 · 2020年1月17日
VIP会员
相关VIP内容
专知会员服务
19+阅读 · 2021年9月16日
专知会员服务
31+阅读 · 2021年6月12日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
57+阅读 · 2020年5月9日
专知会员服务
60+阅读 · 2020年3月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
机器人开发库软件大列表
专知
10+阅读 · 2018年3月18日
【泡泡一分钟】Matterport3D: 从室内RGBD数据集中训练 (3dv-22)
泡泡机器人SLAM
16+阅读 · 2017年12月31日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
【推荐】SLAM相关资源大列表
机器学习研究会
10+阅读 · 2017年8月18日
Top
微信扫码咨询专知VIP会员