开课了!CMU《多模态机器学习》2022课程,附课件

2022 年 2 月 1 日 专知

不可错过!多模态机器学习课程!




多模态机器学习(MMML)是一个充满活力的多学科研究领域,通过整合和建模多种交流模式(包括语言、视觉和声学)来解决人工智能的一些最初目标。这一研究领域给多模态研究人员带来了一些独特的挑战,因为数据的异质性和模式之间的偶然性经常被发现。本课程是一门研究生水平的课程,涵盖了多模态机器学习的最新研究论文,包括表示、对齐、推理、生成、协同学习和量化方面的技术挑战。本课程的主要目标是提高批判性思维能力,了解最新的技术成就,并了解未来的研究方向。


本课程将介绍机器学习和深度学习中与多模态机器学习中的五个主要挑战相关的基本数学概念:(1)多模态表示学习,(2)平移与映射,(3)模态对齐,(4)多模态融合和(5)协同学习。这些包括但不限于,多模态自动编码器,深度典型相关分析,多核学习,注意力模型和多模态递归神经网络。本课程还将讨论MMML的许多最新应用,包括多模式的情感识别、图像和视频字幕以及跨模式的多媒体检索。


https://cmu-multicomp-lab.github.io/adv-mmml-course/spring2022/schedule/



课程目录:

  • 课程导论

  • 跨模态交互

  • 多模态协同学习

  • 预训练方式

  • 多模态推理

  • 记忆与长期交互

  • 头脑与多模态感知

  • 视觉与语言

  • 多模态泛化

  • 低资源学习


附综述论文与课件:



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“MML” 可以获取《【硬核课】CMU《多模态机器学习》2022课程,附课件与视频综述论文》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
8

相关内容

我们对世界的体验是多模态的——我们看到物体,听到声音,感觉到纹理,闻到气味,尝到味道。模态是指某件事情发生或经历的方式,一个研究问题如果包含多个模态,就被称为多模态。为了让人工智能在理解我们周围的世界方面取得进展,它需要能够一起解释这种多模态信号。多模态机器学习旨在建立能够处理和关联来自多种模式的信息的模型。这是一个日益重要和具有非凡潜力的充满活力的多学科领域。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
182+阅读 · 2022年4月12日
【可信机器学习课程10节(含ppt)】多伦多大学
专知会员服务
62+阅读 · 2022年3月22日
开课了!CMU《多模态机器学习》2022课程,附课件与视频
专知会员服务
153+阅读 · 2022年2月1日
专知会员服务
73+阅读 · 2021年6月12日
专知会员服务
45+阅读 · 2021年5月13日
不可错过!CMU《深度学习导论》2020课程,附课件与视频
专知会员服务
79+阅读 · 2020年10月27日
中科大《数据科学导论》课程
专知
6+阅读 · 2021年10月17日
清华大学《高级机器学习》课程
专知
38+阅读 · 2020年7月21日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
37+阅读 · 2021年9月28日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
VIP会员
相关VIP内容
【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
182+阅读 · 2022年4月12日
【可信机器学习课程10节(含ppt)】多伦多大学
专知会员服务
62+阅读 · 2022年3月22日
开课了!CMU《多模态机器学习》2022课程,附课件与视频
专知会员服务
153+阅读 · 2022年2月1日
专知会员服务
73+阅读 · 2021年6月12日
专知会员服务
45+阅读 · 2021年5月13日
不可错过!CMU《深度学习导论》2020课程,附课件与视频
专知会员服务
79+阅读 · 2020年10月27日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员