【斯坦福大学李飞飞高徒朱玉可博士毕业论文】闭合感知-动作循环: 通用自主机器人探索

AI WORLD 2019 世界人工智能峰会精彩重放！

10 月 18 日，2019 中关村论坛平行论坛 ——AI WORLD 2019 世界人工智能峰会在北京启幕。新智元杨静、科大讯飞胡郁、微软王永东、华为王成录、英特尔宋继强、旷视及智源学者孙剑、滴滴叶杰平、AWS 张峥、依图颜水成、地平线黄畅、autowise.ai 黄超等重磅嘉宾中关村论剑，重启充满创新活力的 AI 未来。峰会现场，新智元揭晓 AI Era 创新大奖，并重磅发布 AI 开放创新平台和献礼新书《智周万物：人工智能改变中国》。回放链接：

【腾讯科技】

客户端：https://view.inews.qq.com/a/TEC2019101600718500    

PC 端：http://v.qq.com/live/p/topic/74606/preview.html

【海淀融媒】

https://m.toutiaoimg.cn/i6748195040323062540

【新浪科技】

http://video.sina.com.cn/l/p/1728577.html

---

   新智元推荐  

来源：专知

编辑整理：元子

【新智元导读】斯坦福大学李飞飞的得意门生朱玉可博士今年 8 月取得斯坦福大学博士学位，并将于 2020 年秋季加入德克萨斯大学奥斯汀分校（UT-Austin）担任计算机科学助理教授。他的博士论文关于为能够理解并与现实世界交互的通用机器人构建智能《Closing the Perception-Action Loop: Towards General-Purpose Robot Autonomy》在其个人主页日前公开欢迎来新智元 AI 朋友圈与大咖一起讨论～

http://ai.stanford.edu/~yukez/

http://ai.stanford.edu/~yukez/papers/yukezhu_phd_dissertation.pdf

根据朱玉可的个人主页，他的科研兴趣是为能够理解并与现实世界交互的通用机器人构建智能。研究将融合机器人、计算机视觉和机器学习等诸多领域，并致力于开发用于通用机器人自治的感知和控制方法和机制。

今年 6 月，朱玉可在斯坦福大学的博士论文答辩后，与李飞飞等人合影。

在斯坦福大学，他与李飞飞和 Silvio Savarese 教授（李飞飞的丈夫）一起在斯坦福视觉与学习实验室工作。同时，他也是斯坦福人工智能和机器人研究小组（Stanford People, AI & Robots Group，PAIR）成员。

博士论文《Closing the Perception-Action Loop: Towards General-Purpose Robot Autonomy》

机器人和自主系统在现代经济中扮演着重要的角色。定制机器人显著提高了生产率、操作安全性和产品质量。然而，人们通常通过编程操作这些机器人来完成较小的领域的特定任务，而无法快速适应新任务和新情况。廉价、轻便和灵活的机器人硬件的出现为将机器人的自主能力提升到前所未有的水平提供了机会。

新的机器人硬件在日常环境中的一个主要挑战是处理现实世界的持续变化性和不确定性。为了应对这一挑战，我们必须解决感知和行动之间的协同作用: 一方面，机器人的感知自适应地指导其行动，另一方面，它的行动产生了新的感知信息，用于决策。我认为，实现通用机器人自治的关键一步是将感知和动作紧密地结合起来。

新兴的人工智能计算工具已经证明了成功的希望，并构成了在非结构化环境中增强机器人感知和控制的理想候选。机器人的实体本质迫使我们超越现有的从无实体数据集学习的范式，并激励我们开发考虑物理硬件和动态复杂系统的新算法。

本论文的研究工作是建立通用机器人感知和控制的方法和机制。我们的工作表明，感知和行动的紧密耦合，有助于机器人通过感官与非结构化的世界进行交互，灵活地执行各种任务，并适应地学习新任务。

我们的研究结果表明，从低级的运动技能到高级的任务理解三个抽象层次上解剖感知-动作循环，可以有效地促进机器人行为的鲁棒性和泛化。我们规划的研究工作是处理日益复杂的任务，展现出我们朝着圣杯目标的路线图:在现实世界中构建长期的、通用的机器人自治。

论文结构

工作总结

在这篇论文中，我们讨论了我们的研究工作，使机器人能够通过他们的感知与非结构化的世界进行互动，灵活地执行各种任务，并自适应地学习新的任务。这些工作已经证明，紧密耦合的感知-动作循环可以在各种实际场景中产生更健壮和可推广的机器人行为。它们强调了在构建通用机器人智能时融合感知和行动的重要性

概括性而言，我们介绍了在三个抽象层次上剖析感知-动作循环的工作(也参见上表):首先，学习原始技能，将原始的感知信息转换为驱动机器人动作的控制命令(第2章和第3章)。

第二，通过原始技能的序列组合在交互式环境中执行序列任务(第4章和第5章); 

第三，扩展到具有潜在组成结构的长期任务的层次任务(第6章和第7章)。

我们开发了新的机器学习和计算机视觉算法，结合机器人领域的知识，来解决现实世界中机器人感知和控制的基本挑战

本文授权转载自公众号：专知