论文题目

Factorized Multimodal Transformer for Multimodal Sequential Learning

论文简介

我们周围的复杂世界本质上是多模态和连续的。信息分散在不同的模式中,需要捕获多个连续的传感器。随着机器学习向更好的泛化方向发展,多模态序贯学习成为一个基础研究领域。可以说,在模式内和模式间任意分布的时空动力学建模是这一研究领域的最大挑战。在本文中,我们提出了一个新的变压器模型,称为因子化多模变压器(FMT)的多模顺序学习。FMT以因子分解的方式固有地在其多模态输入中对模式内和多式联运(涉及两个或多个模式)动力学建模。所提出的因子分解允许增加自我关注的数量,以便更好地模拟手边的多模现象;即使在相对较低的资源设置下,在训练期间也不会遇到困难(例如过度拟合)。FMT中的所有注意机制都有一个完整的时域接收场,使它们能够异步捕获远程多模态动力学。在我们的实验中,我们将重点放在包含语言、视觉和听觉三种常用研究模式的数据集上。我们进行了广泛的实验,跨越了3个研究良好的数据集和21个不同的标签。FMT显示出优于先前提出的模型的性能,在研究的数据集中创造了新的技术状态。

论文作者

Amir Zadeh, Chengfeng Mao, Kelly Shi, Yiwei Zhang, Paul Pu Liang, Soujanya Poria, Louis-Philippe Morency,作者们长期从事人工智能研究,是机器学习领域专家级人物,在研究过程中,主张机器学习要面向实践,面向实际,立志解决当前问题,随着机器学习向更好的泛化方向发展,多模态序贯学习成为一个基础研究领域,作者们在该领域进行了大量的资源投入,并取得了丰硕成果。

成为VIP会员查看完整内容
21

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
75+阅读 · 2020年2月3日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
20项任务全面碾压BERT,全新XLNet预训练模型
机器学习算法与Python学习
15+阅读 · 2019年6月20日
图卷积神经网络(GCN)文本分类详述
专知
278+阅读 · 2019年4月5日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
CMU、谷歌提出Transformer-XL:学习超长上下文关系
机器之心
9+阅读 · 2019年1月18日
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
8+阅读 · 2018年11月6日
Arxiv
20+阅读 · 2019年11月24日
Arxiv
5+阅读 · 2018年12月18日
VIP会员
相关资讯
20项任务全面碾压BERT,全新XLNet预训练模型
机器学习算法与Python学习
15+阅读 · 2019年6月20日
图卷积神经网络(GCN)文本分类详述
专知
278+阅读 · 2019年4月5日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
CMU、谷歌提出Transformer-XL:学习超长上下文关系
机器之心
9+阅读 · 2019年1月18日
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
8+阅读 · 2018年11月6日
微信扫码咨询专知VIP会员