Reinforcement learning (RL) has shown to be a valuable tool in training neural networks for autonomous motion planning. The application of RL to a specific problem is dependent on a reward signal to quantify how good or bad a certain action is. This paper addresses the problem of reward signal design for robotic control in the context of local planning for autonomous racing. We aim to design reward signals that are able to perform well in multiple, competing, continuous metrics. Three different methodologies of position-based, velocity-based, and action-based rewards are considered and evaluated in the context of F1/10th racing. A novel method of rewarding the agent on its state relative to an optimal trajectory is presented. Agents are trained and tested in simulation and the behaviors generated by the reward signals are compared to each other on the basis of average lap time and completion rate. The results indicate that a reward based on the distance and velocity relative to a minimum curvature trajectory produces the fastest lap times.


翻译:强化学习(RL)被证明是培训神经网络进行自主运动规划的宝贵工具,在特定问题上应用RL取决于一个奖励信号,以量化某种行动的好坏。本文件从地方自主赛规划的角度处理机器人控制的奖励信号设计问题。我们的目标是设计能够以多种、竞争和连续的衡量标准很好地发挥作用的奖励信号。三种基于位置、速度和基于行动的奖励方法在F1/10赛跑的背景下得到考虑和评估。一种根据最佳轨迹对代理人的状态进行奖励的新方法被提出来。在模拟中进行培训和测试,奖励信号产生的行为根据平均步行时间和完成率相互比较。结果显示,根据距离和速度相对于最低限度曲线轨迹的距离和速度,奖励产生最快的速度。

0
下载
关闭预览

相关内容

让 iOS 8 和 OS X Yosemite 无缝切换的一个新特性。 > Apple products have always been designed to work together beautifully. But now they may really surprise you. With iOS 8 and OS X Yosemite, you’ll be able to do more wonderful things than ever before.

Source: Apple - iOS 8
【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
63+阅读 · 2021年8月20日
专知会员服务
42+阅读 · 2020年12月18日
专知会员服务
52+阅读 · 2020年9月7日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
118+阅读 · 2020年5月6日
【泡泡一分钟】基于表面的自主三维建模探索
泡泡机器人SLAM
9+阅读 · 2019年9月10日
最前沿:深度解读Soft Actor-Critic 算法
极市平台
54+阅读 · 2019年7月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
0+阅读 · 2021年10月14日
Arxiv
5+阅读 · 2018年4月22日
VIP会员
相关资讯
【泡泡一分钟】基于表面的自主三维建模探索
泡泡机器人SLAM
9+阅读 · 2019年9月10日
最前沿:深度解读Soft Actor-Critic 算法
极市平台
54+阅读 · 2019年7月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员