了解人类如何协作地利用语义知识探索未知环境并决定导航方向,对于家务服务多机器人系统至关重要。以往的方法主要集中在单机器人集中式规划策略上,这极大地限制了探索效率。近年来的研究考虑了多机器人分散式规划策略,为每个机器人分配独立的规划模型,但这些方法往往忽视了通信成本。在本研究中,我们提出了多模态思维链协同导航(MCoCoNav),这是一种模块化方法,利用多模态思维链来规划多机器人的协作语义导航。MCoCoNav将视觉感知与视觉语言模型(VLMs)相结合,通过概率评分评估探索价值,从而减少时间成本并实现稳定输出。此外,使用全球语义地图作为通信桥梁,最小化通信开销,同时整合观察结果。在反映探索趋势的得分指导下,机器人利用该地图评估是否探索新的前沿点或重新访问历史节点。我们在HM3D v0.2和MP3D上的实验验证了我们方法的有效性。我们的代码可以在https://github.com/FrankZxShen/MCoCoNav.git获取。

成为VIP会员查看完整内容
4

相关内容

【ICML2024】更快的自适应去中心化学习算法
专知会员服务
21+阅读 · 8月22日
专知会员服务
24+阅读 · 2021年7月8日
【干货书】可解释人工智能(xAI)方法和深度元学习模型
专知会员服务
58+阅读 · 2020年9月13日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
37+阅读 · 2020年6月22日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
11+阅读 · 2017年12月31日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
Arxiv
159+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
409+阅读 · 2023年3月31日
Arxiv
148+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【ICML2024】更快的自适应去中心化学习算法
专知会员服务
21+阅读 · 8月22日
专知会员服务
24+阅读 · 2021年7月8日
【干货书】可解释人工智能(xAI)方法和深度元学习模型
专知会员服务
58+阅读 · 2020年9月13日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
37+阅读 · 2020年6月22日
相关基金
国家自然科学基金
11+阅读 · 2017年12月31日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员