不可错过!多模态机器学习课程!

多模态机器学习(MMML)是一个充满活力的多学科研究领域,通过整合和建模多种交流模式(包括语言、视觉和声学)来解决人工智能的一些最初目标。这一研究领域给多模态研究人员带来了一些独特的挑战,因为数据的异质性和模式之间的偶然性经常被发现。本课程是一门研究生水平的课程,涵盖了多模态机器学习的最新研究论文,包括表示、对齐、推理、生成、协同学习和量化方面的技术挑战。本课程的主要目标是提高批判性思维能力,了解最新的技术成就,并了解未来的研究方向。

**本课程将介绍机器学习和深度学习中与多模态机器学习中的五个主要挑战相关的基本数学概念:(1)多模态表示学习,(2)平移与映射,(3)模态对齐,(4)多模态融合和(5)协同学习。**这些包括但不限于,多模态自动编码器,深度典型相关分析,多核学习,注意力模型和多模态递归神经网络。本课程还将讨论MMML的许多最新应用,包括多模式的情感识别、图像和视频字幕以及跨模式的多媒体检索。

https://cmu-multicomp-lab.github.io/adv-mmml-course/spring2023/schedule/

课程目录:

附综述论文与课件:

成为VIP会员查看完整内容
72

相关内容

我们对世界的体验是多模态的——我们看到物体,听到声音,感觉到纹理,闻到气味,尝到味道。模态是指某件事情发生或经历的方式,一个研究问题如果包含多个模态,就被称为多模态。为了让人工智能在理解我们周围的世界方面取得进展,它需要能够一起解释这种多模态信号。多模态机器学习旨在建立能够处理和关联来自多种模式的信息的模型。这是一个日益重要和具有非凡潜力的充满活力的多学科领域。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CMU博士论文】多语言视觉-语言模型研究,190页pdf
专知会员服务
34+阅读 · 2023年2月15日
【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
182+阅读 · 2022年4月12日
开课了!CMU《多模态机器学习》2022课程,附课件与视频
专知会员服务
153+阅读 · 2022年2月1日
不可错过!CMU《深度学习导论》2020课程,附课件与视频
专知会员服务
79+阅读 · 2020年10月27日
2019->2020必看的十篇「深度学习领域综述」论文
专知会员服务
270+阅读 · 2020年1月1日
人工智能顶刊TPAMI2019最新《多模态机器学习综述》
专知会员服务
93+阅读 · 2019年10月18日
「Github」多模态机器学习文章阅读列表
专知
123+阅读 · 2019年8月15日
人工智能顶刊TPAMI2019最新《多模态机器学习综述》
人工智能学家
29+阅读 · 2019年1月19日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年5月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年3月31日
Lifelong Learning Metrics
Arxiv
48+阅读 · 2022年1月20日
Arxiv
49+阅读 · 2021年5月9日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
35+阅读 · 2020年1月2日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
Arxiv
25+阅读 · 2018年1月24日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年5月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
相关论文
Arxiv
0+阅读 · 2023年3月31日
Lifelong Learning Metrics
Arxiv
48+阅读 · 2022年1月20日
Arxiv
49+阅读 · 2021年5月9日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
35+阅读 · 2020年1月2日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
Arxiv
25+阅读 · 2018年1月24日
微信扫码咨询专知VIP会员