人工智能(AI)涵盖了跨越各种模态的知识获取和现实世界的基础。作为一个多学科研究领域,多模态大型语言模型(MLLMs)最近在学术界和工业界引起了越来越多的关注,显示出通过MLLMs实现人类水平AI的前所未有的趋势。这些大型模型通过集成和建模多种信息模态(包括语言、视觉、听觉和感官数据),为理解、推理和规划提供了有效的工具。本教程旨在全面综述MLLMs领域的前沿研究,重点关注四个关键领域:MLLM架构设计、指令学习、多模态推理和MLLMs的效率。我们将探讨技术进步,总结主要挑战,并讨论未来研究的潜在方向。

成为VIP会员查看完整内容
27

相关内容

【WWW2024教程】大型语言模型驱动智能体,附slides
模仿学习综述:算法、最新进展和挑战
专知会员服务
60+阅读 · 2023年9月9日
【OpenAI-John Schulman】从人类反馈中强化学习:进展与挑战
专知会员服务
61+阅读 · 2023年4月22日
综述| 当图神经网络遇上强化学习
图与推荐
24+阅读 · 2022年7月1日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Arxiv
141+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
344+阅读 · 2023年3月31日
Arxiv
58+阅读 · 2023年3月26日
Arxiv
121+阅读 · 2023年3月24日
Arxiv
18+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员