【ICML2022】时序自监督视频transformer

7 月 28 日 专知


理解视频的时间动态是学习更好的视频表现的一个重要方面。最近,基于transformer的架构设计在视频任务中得到了广泛的探索,因为它们能够捕获输入序列的长期依赖性。然而,我们发现这些视频transformer在学习空间动力学而不是时间动力学时仍然是有偏的,去偏伪相关对它们的性能至关重要。基于观察结果,我们为视频模型设计了简单而有效的自监督任务,以更好地学习时间动态。具体来说,为了消除空间偏差,我们的方法学习视频帧的时间顺序作为额外的自监督,并强制随机洗牌的帧具有低置信输出。此外,我们的方法学习连续帧之间视频标记的时间流方向,以增强与时间动态的相关性。在各种视频动作识别任务下,我们证明了我们的方法的有效性,以及它与最先进的视频transformer的兼容性。


https://www.zhuanzhi.ai/paper/0a5edd1d139682ad788b64f4f65b968e





专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“TSVT” 就可以获取【ICML2022】时序自监督视频transformer》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
0

相关内容

【ECCV2022】用于视频问题回答的视频图Transformer
【ICML2022】在线决策Transformer
专知会员服务
23+阅读 · 7月27日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
16+阅读 · 5月20日
【AAAI2022】(2.5+1)D时空场景图用于视频问答
专知会员服务
14+阅读 · 2月21日
【NeurIPS2021】NeRV:视频的神经表示
专知会员服务
8+阅读 · 2021年10月28日
专知会员服务
8+阅读 · 2021年10月6日
专知会员服务
50+阅读 · 2021年4月11日
【CVPR2021】背景鲁棒的自监督视频表征学习
专知会员服务
14+阅读 · 2021年3月13日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
34+阅读 · 2021年1月24日
【ICML2022】在线决策Transformer
专知
0+阅读 · 7月27日
【ICML2021】基于观察的跨域模仿学习
专知
0+阅读 · 2021年8月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Arxiv
11+阅读 · 2月23日
Arxiv
15+阅读 · 2021年4月8日
Arxiv
15+阅读 · 2020年12月23日
Arxiv
11+阅读 · 2020年2月5日
VIP会员
相关VIP内容
【ECCV2022】用于视频问题回答的视频图Transformer
【ICML2022】在线决策Transformer
专知会员服务
23+阅读 · 7月27日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
16+阅读 · 5月20日
【AAAI2022】(2.5+1)D时空场景图用于视频问答
专知会员服务
14+阅读 · 2月21日
【NeurIPS2021】NeRV:视频的神经表示
专知会员服务
8+阅读 · 2021年10月28日
专知会员服务
8+阅读 · 2021年10月6日
专知会员服务
50+阅读 · 2021年4月11日
【CVPR2021】背景鲁棒的自监督视频表征学习
专知会员服务
14+阅读 · 2021年3月13日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
34+阅读 · 2021年1月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员