什么是多模态ML？CMU-Paul Liang170页PPT讲述《多模态机器学习》，阐述多模态深度学习5大进展，附ppt与视频

【导读】多模态是当下的研究热点。如何全面理解多模态与机器学习结合？来自CMU的Paul Liang博士讲述了《多模态深度学习》体系，含有170页ppt非常值得查看！

作者介绍：

Paul Pu Liang

卡内基梅隆大学(Carnegie Mellon University)机器学习系的四年级博士生，研究是多模态机器学习的基础，以及在社会智能AI、理解人类和机器智能、自然语言处理、医疗保健和教育方面的应用。

https://www.cs.cmu.edu/~pliang/

多模态机器学习

多模态机器学习是一个充满活力的多学科研究领域，通过设计计算机代理来解决人工智能的一些原始目标，这些代理能够通过整合和建模多种交互模态，包括语言、听觉和视觉信息。随着对视听语音识别的初步研究，以及近年来对图像和视频字幕、视觉问答和语言引导强化学习等语言和视觉项目的研究，这一研究领域给多模态研究人员带来了一些独特的挑战，因为数据的异质性和模态之间的偶然性经常被发现。

多模态机器学习(MMML)是一个充满活力的多学科研究领域，研究从多个模态建模异构数据的计算方法。本课程介绍机器学习和深度学习的基本概念，涉及多模态机器学习的五个主要挑战: 

• (1) 多模态表示，

• (2) 模态对齐，

• (3) 多模态推理，

• (4) 翻译和映射，

• (5) 协同学习。

本讲座还讨论了最新的多模态深度学习模型和方向。

视频：

https://www.youtube.com/watch?v=9v6Xg5Nk76M

更完整多模态课程请查看：

开课了！CMU《多模态机器学习》2022课程，附课件

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“ML170” 就可以获取《什么是多模态ML？CMU-Paul Liang170页PPT讲述《多模态机器学习》，阐述多模态深度学习5大进展，附ppt与视频》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资料