【斯坦福博士论文】将深度学习机器人学习扩展到广泛的现实世界数据，176页pdf

近年来，从一般物体抓取到手部操作，深度学习实现了许多令人兴奋的机器人操作能力。尽管如此，能够进入以前从未见过的家庭环境，并像人类一样完成各种任务的典型家用机器人还远远不现实。虽然在实现这一目标方面有许多问题要解决，但中心瓶颈之一在于从机器人传感器输入中学习控制策略，这些策略可以泛化到新的任务、对象和环境。例如，一个在家做饭的机器人无法负担从头开始学习每一道菜，也无法为机器人可能遇到的每个新厨房硬编码状态特征。实现这种泛化的一个潜在途径是在包含许多任务、对象和环境的广泛数据分布上训练机器人。事实上，这种将大型、多样化的数据集与可扩展的离线学习算法(例如，自监督或廉价监督学习)相结合的方法，是自然语言处理(NLP)和视觉最近取得成功的关键。然而，直接将此方法扩展到机器人领域并非易事，因为我们既没有足够大和多样化的机器人交互数据集，也不清楚哪种类型的学习算法或监督来源可以使我们从这些数据集中可扩展地学习技能。

本文的目标在于解决这些挑战，并在机器人操纵的背景下重现大规模数据和学习的方法。

本文的第一部分将讨论如何可扩展地收集在物理世界中交互的机器人的大型和多样化数据集，以及如何在这种离线机器人数据集上有效地预训练自监督世界模型。然后，我们将探讨如何使用这些预训练的世界模型，通过将它们与规划相结合来解决任务，首先用于解决长视距操纵任务，其次用于完成自然语言指定的任务。最后，我们将讨论如何超越机器人数据，并解锁存在于网络上的广泛数据源，如人类的视频，以使机器人更有效地学习，特别是通过奖励学习和视觉预训练。本文将通过讨论公开的挑战来结束，特别是如何统一模拟、真实世界的数据收集和人类视频的范式，以实现通用家用机器人的愿景。