在行为识别领域,虽然当前的一些基于RGB-D模态的动作识别方法可以取得显著效果,但是他们都是建立在时空紧密耦合架构的基础上进行的时空信息建模。因此,这些方法主要存在以下三个问题:(1)由于时空建模过程的紧密耦合,导致在一些小数据集上面临一定的优化困难;(2)网络中包含的大量与分类无关的边缘冗余信息可能会误导分类器做出错误的决策;(3)视频多模态信息之间缺乏有效的时空交互导致后验融合机制不能充分发挥其作用。所以在本文中,我们提出了一种有效建模时空信息的解耦与重耦合机制以及一种新颖的RGB-D多模态时空信息交互策略。具体来讲,我们将多模态时空信息建模过程分成三个子任务:(1)通过解耦时空建模网络实现高质量维度无关的时间和空间表征学习。(2)重新耦合这些解耦的时空表征以重新建立强时空依赖。(3)引入一种新的跨模态时空信息交互方案和自适应后验融合机制(CAPF)来深度融合RGB-D多模态时空信息。通过充分利用以上技术,可以实现更加鲁棒的时空表征学习。

基于解耦与重耦合机制的多模态时空表征学习网络架构

作者:Benjia Zhou, Pichao Wang, Jun Wan, Yanyan Liang, Fan Wang, Du Zhang, Zhen Lei, Hao Li, Rong Jin

成为VIP会员查看完整内容
13

相关内容

CVPR 2022 将于2022年 6 月 21-24 日在美国的新奥尔良举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写,即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议,会议的主要内容是计算机视觉与模式识别技术。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
TPAMI 2019 | 鲁棒RGB-D人脸识别
计算机视觉life
11+阅读 · 2019年6月8日
简评 | Video Action Recognition 的近期进展
极市平台
20+阅读 · 2019年4月21日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
行为识别(action recognition)目前的难点在哪?
极市平台
36+阅读 · 2019年2月14日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
26+阅读 · 2020年3月13日
VIP会员
相关VIP内容
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员