【CMU博士论文】持续改进机器人的探索，243页pdf

数据驱动学习是使机器人学习技能的强大范式。当前的主要方法涉及通过遥操作或仿真收集大量机器行为数据，然后训练策略。为了使这些策略能够在多样化的任务和场景中推广，构建丰富的初始数据集的负担很大，这受到收集示范所需的人力劳动或仔细设计仿真资产和场景的瓶颈限制。我们能否让机器人学习如何收集自己的数据以实现持续改进？本论文旨在解决这一探索问题，指导智能体如何行动，从而发现有用的行为。 我们首先考虑如何在缺乏奖励或示范的情况下定义探索目标。为了探索新目标，我们的关键见解是，识别导致某个未知目标状态的动作序列比直接生成未知目标更容易。这得益于训练一个可以用来测量动作序列不确定性的世界模型。为了在现实世界中进一步提高效率，我们将环境和智能体中心的探索解耦。前者与激励导致物体视觉特征变化的动作相关，这对操作任务通常是有益的；而后者则与机器人内部世界模型的不确定性相关。 接下来，我们询问如何为多样化任务启用通用机器人探索者。我们的方法是利用人类视频学习数据驱动的先验知识来构建动作空间。我们学习视觉可及性，描述物体如何与手或末端执行器进行交互，从而为探索提供非常高效的搜索空间。此外，这个共享的可及性动作空间可以用来训练一个联合的人机世界模型。该模型首先在各种人类手执行任务的视频上进行预训练，然后用极少的机器人探索轨迹进行微调。我们还研究了如何使用给定奖励函数的梯度信息高效地调整互联网规模的视频扩散模型，这可以为未来在机器人规划中使用此类模型的应用提供支持。 我们考虑的第三个问题是如何为机器人探索者提供更大的自主性。我们使用移动操作系统，因为它们扩展的可行任务空间和重置能力允许在最小人类参与下进行持续实践和改进。我们展示了一种配备臂的四足机器人，通过现实世界的强化学习学习移动椅子、清扫垃圾和竖立扬尘器，以及一种自定义的轮式系统，学习在校园内各栋建筑中开门。最后，与探索问题正交，我们讨论如何利用低成本高保真遥操作和仿真中的程序化场景生成来扩展双手灵巧操作的数据收集，以学习机器人手臂的神经运动规划器。这是为了获得更好的初始策略，以便机器人能够进行探索。