自监督视频哈希(SSVH)模型学习为视频生成短二进制表示,无需地真监督,提高了大规模视频检索的效率,引起了越来越多的研究关注。SSVH的成功之处在于对视频内容的理解以及捕获未标记视频之间语义关系的能力。通常,最先进的SSVH方法在两阶段训练管道中考虑这两点,首先通过实例掩码训练辅助网络并预测任务,其次训练哈希模型以保留从辅助网络转移的伪邻域结构。这种连续的训练策略是不灵活的,也是不必要的。本文提出了一种简单有效的单阶段SSVH方法——ConMH,该方法将视频语义信息和视频相似关系的理解融合在一个单阶段中。为了获取视频语义信息,我们采用编码器-解码器结构从时间掩码帧重构视频。特别是,我们发现较高的掩蔽比有助于视频理解。此外,我们充分利用了视频之间的相似关系,最大化了视频的两个增强视图之间的一致性,从而获得了更具鉴别性和鲁棒性的哈希码。在三个大型视频数据集(FCVID, ActivityNet和YFCC)上的大量实验表明,ConMH达到了最先进的结果。 网址:https://github.com/ huangmozhi9527/ConMH。

成为VIP会员查看完整内容
14

相关内容

【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
20+阅读 · 2022年3月8日
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
18+阅读 · 2021年12月19日
专知会员服务
23+阅读 · 2021年9月16日
专知会员服务
40+阅读 · 2021年5月24日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
48+阅读 · 2021年2月7日
专知会员服务
43+阅读 · 2021年1月31日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
77+阅读 · 2020年6月11日
【ICML2022】时序自监督视频transformer
专知
1+阅读 · 2022年7月28日
SelfKG: 自监督知识图谱实体对齐 | 论文荐读
学术头条
5+阅读 · 2022年4月8日
AAAI'21 | 对比自监督的图分类
图与推荐
8+阅读 · 2021年10月28日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
10+阅读 · 2021年12月9日
VIP会员
相关VIP内容
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
20+阅读 · 2022年3月8日
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
18+阅读 · 2021年12月19日
专知会员服务
23+阅读 · 2021年9月16日
专知会员服务
40+阅读 · 2021年5月24日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
48+阅读 · 2021年2月7日
专知会员服务
43+阅读 · 2021年1月31日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
77+阅读 · 2020年6月11日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员