机器人视觉正持续受益于多模态融合技术视觉-语言模型(Vision-Language Models, VLMs)的迅速发展。本文系统回顾了多模态融合技术在一系列关键机器人视觉任务中的应用,包括语义场景理解同步定位与地图构建(SLAM)三维目标检测导航与定位以及机器人操作控制。 我们将基于大型语言模型(LLMs)的视觉-语言模型与传统多模态融合方法进行了对比,分析了它们在性能、适用性、限制及协同潜力等方面的优劣。与此同时,本文深入剖析了当前常用的数据集,评估其在现实机器人场景中的适用性与挑战。 我们进一步识别出该领域面临的若干关键研究难题,如跨模态对齐高效融合策略实时部署能力以及领域自适应问题。为推动研究发展,本文提出若干未来研究方向,包括:用于鲁棒多模态表示的自监督学习基于Transformer的融合架构以及可扩展的多模态感知框架。 通过全面的文献回顾、系统对比分析与前瞻性探讨,本文为推动机器人视觉领域中的多模态感知与交互提供了有价值的参考。 完整论文列表可访问:https://github.com/Xiaofeng-Han-Res/MF-RV

成为VIP会员查看完整内容
7

相关内容

生成式人工智能的扩散模型概述
专知会员服务
64+阅读 · 2024年12月8日
边缘大型语言模型综述:设计、执行与应用
专知会员服务
41+阅读 · 2024年10月21日
《计算流体力学中的机器学习最新进展》综述
专知会员服务
33+阅读 · 2024年8月24日
视觉语言导航:大模型时代的综述
专知会员服务
48+阅读 · 2024年7月10日
扩散模型与表示学习:综述
专知会员服务
47+阅读 · 2024年7月2日
大型语言模型与智能机器人集成的综述
专知会员服务
67+阅读 · 2024年4月22日
《基础模型在现实世界机器人应用》综述
专知会员服务
54+阅读 · 2024年2月11日
多模态数据的行为识别综述
专知会员服务
85+阅读 · 2022年11月30日
基于模型的强化学习综述
专知
36+阅读 · 2022年7月13日
基于深度学习的数据融合方法研究综述
专知
32+阅读 · 2020年12月10日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
层级强化学习概念简介
CreateAMind
18+阅读 · 2019年6月9日
基于深度学习的目标检测算法综述
AI研习社
14+阅读 · 2018年4月25日
国家自然科学基金
27+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
A Survey of Large Language Models
Arxiv
448+阅读 · 2023年3月31日
Arxiv
75+阅读 · 2023年3月26日
Arxiv
163+阅读 · 2023年3月24日
Arxiv
24+阅读 · 2023年3月17日
VIP会员
相关VIP内容
生成式人工智能的扩散模型概述
专知会员服务
64+阅读 · 2024年12月8日
边缘大型语言模型综述:设计、执行与应用
专知会员服务
41+阅读 · 2024年10月21日
《计算流体力学中的机器学习最新进展》综述
专知会员服务
33+阅读 · 2024年8月24日
视觉语言导航:大模型时代的综述
专知会员服务
48+阅读 · 2024年7月10日
扩散模型与表示学习:综述
专知会员服务
47+阅读 · 2024年7月2日
大型语言模型与智能机器人集成的综述
专知会员服务
67+阅读 · 2024年4月22日
《基础模型在现实世界机器人应用》综述
专知会员服务
54+阅读 · 2024年2月11日
多模态数据的行为识别综述
专知会员服务
85+阅读 · 2022年11月30日
相关资讯
基于模型的强化学习综述
专知
36+阅读 · 2022年7月13日
基于深度学习的数据融合方法研究综述
专知
32+阅读 · 2020年12月10日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
层级强化学习概念简介
CreateAMind
18+阅读 · 2019年6月9日
基于深度学习的目标检测算法综述
AI研习社
14+阅读 · 2018年4月25日
相关基金
国家自然科学基金
27+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员