转载机器之心报道 编辑:小舟、娄佳琪

聚焦大模型+机器人。 自 2017 年首次举办以来,CoRL 已经成为了机器人学与机器学习交叉领域的全球顶级学术会议之一。CoRL 是面向机器人学习研究的 single-track 会议,涵盖机器人学、机器学习和控制等多个主题,包括理论与应用。

2023 年的 CoRL 大会于 11 月 6 日至 9 日在美国亚特兰大举行。据官方数据透露,今年来自 25 个国家的 199 篇论文入选 CoRL,热门主题包括 manipulation、强化学习等。虽然相比于 AAAI、CVPR 等大型 AI 学术会议,CoRL 的会议规模还相对小很多,但随着今年大模型、具身智能、人形机器人等概念的火热,CoRL 会议上的相关研究也非常值得关注。

目前,CoRL 2023 官方已公布最佳论文奖、最佳学生论文奖、最佳系统论文奖等奖项。接下来,我们将为大家介绍一下这些获奖论文。

最佳论文

论文:Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation * 作者:William Shen, Ge Yang, Alan Yu, Jensen Wong, Leslie Pack Kaelbling, Phillip Isola * 机构:MIT CSAIL、IAIFI * 论文地址:https://openreview.net/forum?id=Rb0nGIt_kh5

论文简介:当前,自监督和语言监督的图像模型已经包含丰富的世界知识,这对于泛化来说非常重要,但图像特征是二维的。我们知道,机器人任务通常需要对现实世界中三维物体的几何形状有所了解。

该研究利用蒸馏特征场(Distilled Feature Field,DFF),将准确的 3D 几何图形与来自 2D 基础模型的丰富语义结合起来,让机器人能够利用 2D 基础模型中丰富的视觉和语言先验,完成语言指导的操作。

具体来说,该研究提出了一种用于 6-DOF 抓取和放置的小样本学习方法,并利用强大的空间和语义先验泛化到未见过物体上。使用从视觉 - 语言模型 CLIP 中提取的特征,该研究提出了一种通过开放性的自然语言指令对新物体进行操作,并展示了这种方法泛化到未见过的表达和新型物体的能力。

这篇论文的两位共同一作是 CSAIL 「具身智能」团队的成员 William Shen 和杨歌,其中杨歌是 2023 年 CSAIL 具身智能研讨会的共同筹办人。

机器之心曾详细介绍过这篇研究,请参考《大模型加持的机器人有多强,MIT CSAIL&IAIFI 用自然语言指导机器人抓取物体》。

最佳学生论文

论文:Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners * 作者:Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar * 机构:普林斯顿大学、Google DeepMind * 论文地址:https://openreview.net/forum?id=4ZK8ODNyFXx

论文简介:从逐步规划到常识推理,大型语言模型(LLM)展现出大量在机器人领域未来可期的能力,但 LLM 存在幻觉问题。

基于此,该研究提出了一种新框架 ——KnowNo,用于度量和对齐基于 LLM 的规划器的不确定性。它能够使 LLM 意识到哪些信息是未知的,并在有需要时求助。

KnowNo 建立在共形预测(conformal prediction)理论的基础上,为任务完成提供统计保证,同时能够最大限度地减少多步骤规划任务中的人工干预。

该研究在各种模拟和真实机器人实验中,用各种模式的不确定任务(包括空间不确定性、数字不确定性等等)对 KnowNo 进行了测试。实验结果表明, KnowNo 在提高效率和自主性方面表现出色,优于基线,并且安全可信。KnowNo 能够在不进行模型微调的情况下直接用于 LLM,为模型的不确定性提供了一种有效的轻量级解决方法,并能够与基础模型不断增强的能力相辅相成。

最佳系统论文

论文:RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools * 作者:Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu * 机构:斯坦福大学、UIUC * 论文地址:https://openreview.net/forum?id=69y5fzvaAT

论文简介:人类擅长制造和使用各种工具,但对于机器人而言,理解如何有效使用工具,并在相应的物体上完成操作仍然是一个很大的挑战。该研究构建了一个名为 RoboCook 的智能机器人系统,该系统能够通过各种工具感知、建模并操纵弹塑性物体(elasto-plastic object)。

RoboCook 使用点云场景表征,利用图神经网络(GNN)对工具与物体的相互作用进行建模,并将工具分类与自监督策略学习相结合,以制定操作计划。

该研究表明,对于每个工具,仅需 20 分钟的现实世界交互数据,RoboCook 就能学会并操纵机械臂完成一些复杂的、长时程的弹塑性物体操作任务,例如制作饺子、字母饼干等。

实验表明,RoboCook 的性能大大优于现有 SOTA 方法,对严重的外部干扰也能表现出稳健性,对不同材料的适应性也较强。

值得一提的是,这篇论文的共同一作分别是来自斯坦福大学的博士生 Haochen Shi、原斯坦福大学博士后研究员、现清华大学交叉信息科学研究所助理教授 Huazhe Xu,论文作者之一是姚班校友、斯坦福大学助理教授吴佳俊。

获奖论文完整入围名单

参考链接: https://www.corl2023.org/awards

成为VIP会员查看完整内容
23

相关内容

机器人(英语:Robot)包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗,机器猫等)。狭义上对机器人的定义还有很多分类法及争议,有些电脑程序甚至也被称为机器人。在当代工业中,机器人指能自动运行任务的人造机器设备,用以取代或协助人类工作,一般会是机电设备,由计算机程序或是电子电路控制。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
2021 ACM博士论文奖公布,两位NeRF提出者获荣誉提名
专知会员服务
19+阅读 · 2022年6月5日
7篇ICLR 2022杰出论文奖出炉,清华朱军教授课题组摘获
专知会员服务
29+阅读 · 2022年4月22日
字节跳动今斩获最佳论文,ACL 2021各大奖项揭晓
专知会员服务
49+阅读 · 2021年7月7日
PRCV2020 | 大会专家学报成果集锦
中国图象图形学报
14+阅读 · 2020年10月14日
中国学者14篇国际顶会IEEE VR 2020论文集锦
中国图象图形学报
24+阅读 · 2020年4月15日
AAAI 2019最佳论文公布,CMU、斯坦福、MIT上榜
新智元
12+阅读 · 2019年1月28日
AAAI 2019 录用列表论文公布,清华58篇
专知
31+阅读 · 2019年1月22日
国家自然科学基金
1+阅读 · 2018年9月23日
国家自然科学基金
6+阅读 · 2017年6月30日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
14+阅读 · 2016年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年4月30日
国家自然科学基金
0+阅读 · 2015年4月20日
Arxiv
159+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
148+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2018年9月23日
国家自然科学基金
6+阅读 · 2017年6月30日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
14+阅读 · 2016年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年4月30日
国家自然科学基金
0+阅读 · 2015年4月20日
微信扫码咨询专知VIP会员