题目: Multi-Modal Domain Adaptation for Fine-Grained Action Recognition

摘要: 细粒度动作识别数据集表现出环境偏差,其中多个视频序列是从有限数量的环境中捕获的。在一个环境中训练一个模型,然后部署到另一个环境中,由于不可避免的领域转换,会导致性能下降。无监督域适应(UDA)方法经常用于源域和目标域之间的对抗训练。然而,这些方法并没有探索视频在每个领域的多模态性质。在这个工作我们利用模式的通信作为UDA self-supervised对齐的方法除了敌对的对齐(图1),我们测试我们的方法在三个厨房从大规模的数据集,EPIC-Kitchens,使用两种方法通常用于行为识别:RGB和光学流。结果表明,多模态的自监督比单纯的训练平均提高了2.4%。然后我们将对抗训练与多模态自我监督相结合,结果表明我们的方法比其他的UDA方法高3%。

成为VIP会员查看完整内容
71
0

相关内容

CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写,即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
19+阅读 · 2020年5月25日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
46+阅读 · 2020年5月25日
如何解决计算机视觉中的深度域适应问题?
AI前线
28+阅读 · 2019年7月24日
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
47+阅读 · 2019年5月29日
CVPR 2018 | 无监督语义分割之全卷积域适应网络
极市平台
8+阅读 · 2018年6月28日
迁移学习之Domain Adaptation
全球人工智能
13+阅读 · 2018年4月11日
【泡泡一分钟】端到端的弱监督语义对齐
泡泡机器人SLAM
47+阅读 · 2018年4月5日
SlowFast Networks for Video Recognition
Arxiv
4+阅读 · 2019年4月18日
Arxiv
7+阅读 · 2018年4月24日
小贴士
微信扫码咨询专知VIP会员