西工大等最新《大型语言模型机器人技术》综述，详述多模态 GPT-4V 机器人技术

大型语言模型（LLMs）经历了显著的扩展，并越来越多地被整合到各个领域中。特别是在机器人任务规划领域，LLMs 利用其先进的推理和语言理解能力，根据自然语言指令制定精确高效的行动计划。然而，对于具身任务，即机器人与复杂环境互动的任务，仅基于文本的 LLMs 通常面临挑战，因为它们与机器人的视觉感知缺乏兼容性。本研究提供了一个关于 LLMs 和多模态 LLMs 融入各种机器人任务的全面概述。此外，我们提出了一个利用多模态 GPT-4V 的框架，通过结合自然语言指令和机器人视觉感知来增强具身任务规划。我们的结果，基于多样化的数据集，表明 GPT-4V 在具身任务中有效地提升了机器人的性能。这项关于 LLMs 和多模态 LLMs 在各种机器人任务中的广泛综述和评估，丰富了对以 LLM 为中心的具身智能的理解，并提供了向前看的洞见，以帮助弥合人-机器人-环境互动的差距。

由于预训练模型在模型大小和数据量方面的扩展，一些大型预训练模型在一系列复杂任务中展示了卓越的能力 [1]，[2]。大型语言模型（LLMs）因其卓越的上下文生成能力，在各个领域受到了广泛关注 [2]–[10]。这种突现能力以前所未有的方式赋能了人工智能算法，改变了人们使用人工智能算法的方式，并促使对人工通用智能（AGI）的可能性进行重新评估。

随着LLMs的快速发展，指令调优和对齐调优已成为将其适应特定目标的主要方法。在自然语言处理（NLP）领域，LLMs在某种程度上可以作为解决语言相关任务的多功能解决方案 [3]，[5]，[11]–[13]。这些基于变换器（Transformer）的大型模型在多个领域取得了非凡的成就 [14]–[17]，深刻地改变了人工智能的最新水平 [3]，[12]，[18]–[26]。研究范式也转向了利用LLMs来解决子领域特定问题。在计算机视觉（CV）领域，研究人员也在开发类似于GPT-4和Gemini [27]，[28]的大型模型，这些模型结合了视觉和语言信息，从而支持多模态输入 [29]。这种增强LLMs的策略不仅提升了它们在下游任务中的性能，而且为确保与人类价值观和偏好的一致性，对机器人技术的发展提供了重要指导。这种方法已在众多领域广泛采用 [7]，[29]–[32]，甚至在卷积神经网络（CNNs）一直是主要技术的领域也是如此 [33]–[40]。

LLMs处理和内化大量文本数据的能力为提升机器的理解能力和自然语言分析能力提供了前所未有的潜力 [41]，[42]。这包括理解手册和技术指南等文件，并将这些知识应用于进行连贯、准确、符合人类对话的对话 [43]–[45]。通过对话，自然语言指令从文本提示翻译成机器可理解的代码，触发相应的动作，从而使机器人在适应广泛的用户命令方面更加灵活和适应性强 [46]–[48]。将现实世界的传感器模态整合到语言模型中，有助于建立单词和感知之间的联系，使其能够应用于各种特定任务。然而，仅基于文本的LLMs缺乏对物理世界的经验性接触和观察的实证结果，这使得在特定环境中使用它们进行决策变得具有挑战性。因此，将多模态性纳入LLMs对于有效执行机器人任务至关重要。此外，机器人技术领域呈现出更微妙的任务变化。与NLP和CV不同，这些领域可以利用来自互联网的大量数据集，而获取用于机器人交互的大型和多样化数据集却具有挑战性 [49]。这些数据集通常要么专注于单一环境和对象，要么强调特定任务领域，导致它们之间存在显著差异 [50]。这种复杂性在将LLMs与机器人技术整合时带来了更大的挑战。

如何克服机器人技术所面临的挑战，并利用LLMs在其他领域的成就为机器人领域带来好处，是本综述解决的核心问题。在这篇文章中，工作的贡献可以概括为四个主要点。

我们对现有的用于机器人学的大型语言模型（LLM）进行了细致的调研和综合，探索了在三个不同的任务类别中的最新进展：规划、操作、推理。

我们总结了LLMs为机器人领域提供的主要技术方法，考察了训练通用机器人策略的潜力，并为该领域的研究人员提供了基础性综述。

我们评估了多模态GPT-4V在不同环境和情景下进行机器人任务规划的有效性。

我们总结了我们调查的主要发现，思考未来努力中需要解决的突出挑战，并提出了一个前瞻性的视角。

大型语言模型机器人

基于大型语言模型（LLMs）的机器人研究领域已取得显著进步。这些模型展示出卓越的自然语言理解和常识推理能力，显著增强了机器人理解环境和执行命令的能力。当前研究聚焦于利用LLMs解析复杂的环境和指令，包括解决歧义、消除模糊性，并理解隐含信息。在这个领域的一个关键进展包括视觉-语言模型的开发，[51]–[53]这显著提高了如视觉问题回答[54]–[56]和图像描述[57]、[58]等任务的性能。这些进步极大地增强了机器人在物理世界中的推理能力，特别是在复杂命令导航等领域。[59]、[60]通过视觉语言处理系统，机器人能够理解图像内容并将其与相关的语言信息结合起来，例如图像描述和命令执行。这种多模态信息处理同样适用于音频-视觉集成。LLMs的另一个主要进展是在人机交互方面，通过交互式学习过程更好地适应人类的需求和偏好。例如，通过将强化学习与人类反馈结合，机器人可以持续改进任务执行，解决大型模型应用中遇到的语义歧义，通过结合人类指导和大型语言模型，机器人可以更精确地细化指令，从而更好地实现自主学习和环境适应，以实现更准确和针对性的控制。机器人还可以通过交互学习和适应用户的行为、偏好和需求，提供更个性化和定制化的交互体验。这些进步不仅增强了机器人技术的实用性，也为未来人机互动开辟了新的可能性。

大型语言模型的多模态任务规划

在大型语言模型（LLMs）领域内的多模态任务规划构成了人工智能学科的一个复杂交汇点，涉及到不同数据模态（如文本、视觉和听觉输入）的融合，以促进更全面和细致的AI驱动分析 [61]–[65]。 这种跨学科的方法超越了LLMs的传统界限，后者主要关注文本理解和生成，引领这些模型在解释、关联和与多种数据流同时互动方面变得更为熟练。在这种背景下，LLMs的角色从单纯的语言处理演变为更加综合的功能，综合和响应复杂数据的相互作用。在大型语言模型的多模态任务规划领域，最近的进展，如Inner Monologue和SayCan项目所示，展示了该领域不断增长的复杂性和成熟度。Inner Monologue [65]的方法论代表了这一领域的重大飞跃，它整合了来自环境的多模态反馈源。这种整合使得能够生成更可靠和更具上下文意识的任务规划，协调不同的感官输入，以创造对AI周围环境更为连贯的理解。同样地，SayCan的框架 [61] 为LLMs的应用引入了一个新的维度。该系统将LLMs作为模型的“手和眼睛”，生成最佳的长期指令，并有效地评估当前场景下指令的可行性概率。这种方法不仅增强了AI理解和与其直接环境互动的能力，而且利用LLMs的细腻理解来规划和执行复杂的动作序列，持续较长时间。 在多模态任务规划领域内将Inner Monologue和SayCan中的这些先进技术与LLMs的整合代表了向创建不仅更能认识到多种数据流、也能将这些数据流综合为可行智能的AI系统方面的重大进步。这一进展指向了一个未来，即AI能够以一种更加动态、具有上下文意识和自主的方式在现实世界中导航和互动 [61]、[65]–[67]，推动了AI驱动创新和跨学科综合所能达到的界限。

结论

在本文中，我们概述了大型语言模型（LLMs）与各种机器人系统和任务的集成情况。我们的分析显示，LLMs展现出令人印象深刻的推理、语言理解和多模态处理能力，这些能力可以显著提高机器人对指令、环境和所需行动的理解。我们在9个数据集的30多个案例上评估了最近发布的GPT-4V模型，用于实体任务规划。结果表明，GPT-4V能够有效地利用自然语言指令和视觉感知来生成详细的行动计划以完成操控任务。这表明使用多模态LLMs作为实体智能的机器人大脑是可行的。

然而，在我们朝着更实用和能力更强的基于LLM的AI系统发展的过程中，仍需解决一些挑战，包括模型的透明度、鲁棒性、安全性和现实世界的适用性。具体来说，大型神经模型的黑盒性质使得难以完全理解其内部推理过程和失败模式。此外，弥合模拟与现实世界之间的差距仍然是一个挑战，难以在不降低性能的情况下转移政策。通过标准化测试、对抗性训练、政策适应方法和更安全的模型架构等技术，仍需大量研究来解决这些问题。对依赖LLMs的自主智能系统进行问责和监督的协议也值得深思熟虑。在我们在这个领域取得进步的过程中，以一种谨慎、道德和社会负责的方式克服这些多方面的挑战是至关重要的。

随着语言模型继续从多模态数据中积累广泛的实地知识，我们预期将迅速创新地将它们与机器人和基于模拟的学习整合。这可能使得在仿真中直观地开发和验证智能机器人成为可能，然后再使用实景模拟技术进行部署。这样的发展可能深刻地增强和改变我们构建、测试和部署智能机器人系统的方式。

总的来说，自然语言处理和机器人技术的协同整合是一个充满机遇和挑战的前沿领域，值得未来进行广泛的跨学科研究。