【AAAI2023】对比掩码自动编码器的自监督视频哈希

2022 年 11 月 26 日 专知

自监督视频哈希(SSVH)模型学习为视频生成短二进制表示,无需地真监督,提高了大规模视频检索的效率,引起了越来越多的研究关注。SSVH的成功之处在于对视频内容的理解以及捕获未标记视频之间语义关系的能力。通常,最先进的SSVH方法在两阶段训练管道中考虑这两点,首先通过实例掩码训练辅助网络并预测任务,其次训练哈希模型以保留从辅助网络转移的伪邻域结构。这种连续的训练策略是不灵活的,也是不必要的。本文提出了一种简单有效的单阶段SSVH方法——ConMH,该方法将视频语义信息和视频相似关系的理解融合在一个单阶段中。为了获取视频语义信息,我们采用编码器-解码器结构从时间掩码帧重构视频。特别是,我们发现较高的掩蔽比有助于视频理解。此外,我们充分利用了视频之间的相似关系,最大化了视频的两个增强视图之间的一致性,从而获得了更具鉴别性和鲁棒性的哈希码。在三个大型视频数据集(FCVID, ActivityNet和YFCC)上的大量实验表明,ConMH达到了最先进的结果。网址:https://github.com/ huangmozhi9527/ConMH。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CMAH” 就可以获取【AAAI2023】对比掩码自动编码器的自监督视频哈希》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料

登录查看更多
1

相关内容

【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【ICML2022】时序自监督视频transformer
专知会员服务
30+阅读 · 2022年7月28日
【AAAI2022】基于属性的渐进融合网络的RGBT跟踪
专知会员服务
20+阅读 · 2022年1月8日
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
19+阅读 · 2021年12月19日
专知会员服务
15+阅读 · 2021年10月4日
专知会员服务
39+阅读 · 2021年4月5日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
AAAI2021 | DTGRM:具有自监督时间关系建模的动作分割
专知会员服务
14+阅读 · 2020年12月29日
【AAAI2023】图序注意力网络
专知
5+阅读 · 2022年11月24日
【KDD2022】自监督超图Transformer推荐系统
专知
1+阅读 · 2022年8月1日
【ICML2022】时序自监督视频transformer
专知
1+阅读 · 2022年7月28日
【AAAI2022】(2.5+1)D时空场景图用于视频问答
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年2月2日
Arxiv
0+阅读 · 2023年1月31日
Arxiv
13+阅读 · 2022年1月20日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
VIP会员
相关VIP内容
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【ICML2022】时序自监督视频transformer
专知会员服务
30+阅读 · 2022年7月28日
【AAAI2022】基于属性的渐进融合网络的RGBT跟踪
专知会员服务
20+阅读 · 2022年1月8日
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
19+阅读 · 2021年12月19日
专知会员服务
15+阅读 · 2021年10月4日
专知会员服务
39+阅读 · 2021年4月5日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
AAAI2021 | DTGRM:具有自监督时间关系建模的动作分割
专知会员服务
14+阅读 · 2020年12月29日
相关资讯
【AAAI2023】图序注意力网络
专知
5+阅读 · 2022年11月24日
【KDD2022】自监督超图Transformer推荐系统
专知
1+阅读 · 2022年8月1日
【ICML2022】时序自监督视频transformer
专知
1+阅读 · 2022年7月28日
【AAAI2022】(2.5+1)D时空场景图用于视频问答
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2023年2月2日
Arxiv
0+阅读 · 2023年1月31日
Arxiv
13+阅读 · 2022年1月20日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Top
微信扫码咨询专知VIP会员