【斯坦福博士论文】具身物体搜索的操作与推理方法

具身智能体通常需要寻找物体以完成下游任务，因此研究解决由具身物体搜索带来的挑战变得非常有价值。这些挑战将依赖于智能体需要搜索的环境：对于小型环境，如垃圾箱或货架，主要挑战将涉及到在混乱中进行操作以及在存在遮挡物的情况下进行感知，而在较大的环境，如房间或公寓中，智能体还必须思考物体可能位于何处并导航到这些位置。在本论文中，我将介绍一系列新方法来解决这些挑战中的一部分，重点放在操作和推理上，适用于各种环境，并采用各种技术。具体而言，我将在以下背景下提出问题的公式化：从垃圾箱中提取物体、揭示桌面上的隐藏物体、预测物体在房屋中的位置以及记住各种家庭中物体运动的模式。针对每个问题，我将介绍一种新颖的基于学习的方法，扩展或超越先前取得的成果。这些方法将涉及物体分割、物体识别、抓取规划、教师辅助强化学习、程序化环境生成、图神经网络等多种技术。最后，我将讨论如何精炼和结合这些方法，以使具身智能体能够在新的真实世界环境中找到物体.