自监督视频表示方法主要关注视频中时间属性的表示。然而,静态属性与非静态属性的作用却很少被探索:静态特征在整个视频中都保持着相似,它能够预测视频级别的动作类。表示时间变化属性的非平稳特征对于涉及更细粒度的时间理解(如动作分割)的下游任务更有利。我们认为用单一的表示来捕获两种类型的特征是次优的,并提出通过对长和短视图的对比学习,即长视频序列及其短子序列,将表示空间分解为平稳和非平稳特征。静止特征在短期和长期视图之间共享,而非静止特征聚合短期视图以匹配相应的长期视图。为了验证我们的方法,我们证明了我们的固定特征在动作识别下游任务上工作得特别好,而我们的非固定特征在动作分割上表现得更好。此外,我们分析了学习的表征,发现平稳特征捕获更多的时间稳定的静态属性,而非平稳特征包含更多的时间变化的属性。

https://www.zhuanzhi.ai/paper/084c413e8f11e0bb93c51b0b978ea784

成为VIP会员查看完整内容
9

相关内容

通过潜在空间的对比损失最大限度地提高相同数据样本的不同扩充视图之间的一致性来学习表示。对比式自监督学习技术是一类很有前途的方法,它通过学习编码来构建表征,编码使两个事物相似或不同
专知会员服务
35+阅读 · 2021年9月15日
专知会员服务
42+阅读 · 2021年4月18日
专知会员服务
21+阅读 · 2021年3月25日
【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
18+阅读 · 2021年2月12日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
专知会员服务
19+阅读 · 2020年12月11日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
深度学习图像检索(CBIR): 十年之大综述
专知
63+阅读 · 2020年12月5日
Arxiv
0+阅读 · 2021年11月25日
Arxiv
9+阅读 · 2018年3月28日
VIP会员
相关VIP内容
专知会员服务
35+阅读 · 2021年9月15日
专知会员服务
42+阅读 · 2021年4月18日
专知会员服务
21+阅读 · 2021年3月25日
【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
18+阅读 · 2021年2月12日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
专知会员服务
19+阅读 · 2020年12月11日
微信扫码咨询专知VIP会员