Path planning is an important topic in robotics. Recently, value iteration based deep learning models have achieved good performance such as Value Iteration Network(VIN). However, previous methods suffer from slow convergence and low accuracy on large maps, hence restricted in path planning for agents with complex kinematics such as legged robots. Therefore, we propose a new value iteration based path planning method called Capability Iteration Network(CIN). CIN utilizes sparse reward maps and encodes the capability of the agent with state-action transition probability, rather than a convolution kernel in previous models. Furthermore, two training methods including end-to-end training and training capability module alone are proposed, both of which speed up convergence greatly. Several path planning experiments in various scenarios, including on 2D, 3D grid world and real robots with different map sizes are conducted. The results demonstrate that CIN has higher accuracy, faster convergence, and lower sensitivity to random seed compared to previous VI-based models, hence more applicable for real robot path planning.


翻译:路径规划是机器人的一个重要议题。 最近,基于价值迭代的深层学习模型取得了良好的绩效,比如价值迭代网络(VIN) 。 但是,以往的方法在大型地图上出现缓慢的趋同和低精度,因此对具有复杂运动特征的物剂(例如脚动机器人)的路径规划受到限制。 因此,我们提出了一个新的基于价值的迭代路径规划方法,称为能力迭代网络(CIN)。 CIN使用稀有的奖励地图,并编码了具有州-行动过渡概率的物剂的能力,而不是以前的模型中的熔岩内核。此外,还提出了两种培训方法,包括端到端的培训和训练能力模块,两者都大大加快了趋同速度。在2D、3D网格世界和地图大小不同的实际机器人等各种情景中进行了若干路径规划实验。结果显示,CIN的精确性、趋同速度和随机种子的敏感性比以前的六基模型要高,因此更适用于真正的机器人路径规划。

0
下载
关闭预览

相关内容

【干货书】机器人元素Elements of Robotics ,311页pdf
专知会员服务
34+阅读 · 2021年4月16日
【AAAI2021】利用先验知识对场景图进行分类
专知会员服务
60+阅读 · 2020年12月3日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
机器人开发库软件大列表
专知
10+阅读 · 2018年3月18日
carla无人驾驶模拟中文项目 carla_simulator_Chinese
CreateAMind
3+阅读 · 2018年1月30日
漫谈Capsule Network基本原理
深度学习每日摘要
9+阅读 · 2017年12月6日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
0+阅读 · 2021年6月15日
Arxiv
5+阅读 · 2021年2月8日
Arxiv
8+阅读 · 2021年2月1日
Image Captioning based on Deep Reinforcement Learning
Arxiv
3+阅读 · 2018年3月5日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
机器人开发库软件大列表
专知
10+阅读 · 2018年3月18日
carla无人驾驶模拟中文项目 carla_simulator_Chinese
CreateAMind
3+阅读 · 2018年1月30日
漫谈Capsule Network基本原理
深度学习每日摘要
9+阅读 · 2017年12月6日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员