Quadrupedal robots are conquering various indoor and outdoor applications due to their ability to navigate challenging uneven terrains. Exteroceptive information greatly enhances this capability since perceiving their surroundings allows them to adapt their controller and thus achieve higher levels of robustness. However, sensors such as LiDARs and RGB cameras do not provide sufficient information to quickly and precisely react in a highly dynamic environment since they suffer from a bandwidth-latency tradeoff. They require significant bandwidth at high frame rates while featuring significant perceptual latency at lower frame rates, thereby limiting their versatility on resource-constrained platforms. In this work, we tackle this problem by equipping our quadruped with an event camera, which does not suffer from this tradeoff due to its asynchronous and sparse operation. In leveraging the low latency of the events, we push the limits of quadruped agility and demonstrate high-speed ball catching for the first time. We show that our quadruped equipped with an event camera can catch objects with speeds up to 15 m/s from 4 meters, with a success rate of 83%. Using a VGA event camera, our method runs at 100 Hz on an NVIDIA Jetson Orin.


翻译:机器人的四肢行走能力使它们征服了各种室内和室外的应用场景。感知周围环境的能力可以大大增强机器人的适应性,从而使它们能够适应不同的控制器,实现更高水平的鲁棒性。然而,传感器如激光雷达和RGB相机并不能提供足够的信息,使机器人能够在高度动态的环境下快速和精确地反应。这是因为它们会受到带宽-延迟的制约。在高帧率下,它们需要大量的带宽,同时低帧率下会存在显著的感知延迟,从而限制它们在资源受限的平台上的多样性。本文通过为四足机器人配备事件相机来解决这一问题,事件相机的异步稀疏操作使其免受这种权衡的影响。通过利用事件的低延迟,我们提高了四足机器人的敏捷性,并首次展示了高速接球技术。我们展示了配备事件相机的四足机器人可以从四米外以15 m/s的速度接住物体,并且成功率为83%。使用VGA事件相机,我们的方法在NVIDIA Jetson Orin上以100 Hz的速率运行。

0
下载
关闭预览

相关内容

《低成本无人机蜂群实时目标检测应用》96页论文
专知会员服务
93+阅读 · 2023年4月24日
【港科大论文】无人机飞行多模态交互技术设计
专知会员服务
20+阅读 · 2022年12月20日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
【泡泡一分钟】DS-SLAM: 动态环境下的语义视觉SLAM
泡泡机器人SLAM
23+阅读 · 2019年1月18日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Self-Driving Cars: A Survey
Arxiv
41+阅读 · 2019年1月14日
VIP会员
相关VIP内容
《低成本无人机蜂群实时目标检测应用》96页论文
专知会员服务
93+阅读 · 2023年4月24日
【港科大论文】无人机飞行多模态交互技术设计
专知会员服务
20+阅读 · 2022年12月20日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员