本文将归纳式和直推式学习整合到一个统一的框架中,以利用它们之间的互补性来进行准确和稳健的视频目标分割,并引入Transformer,性能优于CFBI、LWL等网络,代码即将开源!

半监督视频目标分割是在第一帧中仅给定mask注释的视频序列中分割目标对象的任务。有限的可用信息使其成为一项极具挑战性的任务。大多数以前表现最好的方法都采用基于匹配的转导推理或在线归纳学习。然而,它们要么对类似实例的区分度较低,要么在时空信息的利用上不足。在这项工作中,我们提出将归纳式和直推式学习整合到一个统一的框架中,以利用它们之间的互补性来进行准确和稳健的视频目标分割。所提出的方法由两个功能分支组成。transduction 分支采用轻量级的 Transformer 架构来聚合丰富的时空线索,而 Induction 分支执行在线归纳学习以获得有判别力的目标信息。为了桥接这两个不同的分支,引入了一个双头标签编码器来为每个分支学习合适的目标先验。生成的mask编码被进一步强制解开以更好地保持它们的互补性。对几个流行基准的大量实验表明,在不需要合成训练数据的情况下,所提出的方法创造了一系列新的最先进记录。

https://www.zhuanzhi.ai/paper/cbb0d1901d6cfb8732e85702ec95a399

成为VIP会员查看完整内容
9

相关内容

专知会员服务
23+阅读 · 2021年9月16日
专知会员服务
35+阅读 · 2021年9月15日
专知会员服务
19+阅读 · 2021年8月5日
专知会员服务
7+阅读 · 2021年4月4日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
专知会员服务
41+阅读 · 2020年2月20日
ICCV 2019 | 精确的端到端的弱监督目标检测网络
AI科技评论
11+阅读 · 2019年12月9日
判别特征的学习方法用于人脸识别(文末源码)
计算机视觉战队
7+阅读 · 2019年3月28日
干货 | 快速端到端嵌入学习用于视频中的目标分割
计算机视觉战队
10+阅读 · 2019年3月27日
通过时空模型迁移学习的无监督的跨数据集行人重新识别
统计学习与视觉计算组
8+阅读 · 2018年10月23日
【重磅】自适应无监督学习的特征提取方法
中国自动化学会
7+阅读 · 2018年2月6日
Arxiv
12+阅读 · 2021年6月29日
Fashion Meets Computer Vision: A Survey
Arxiv
5+阅读 · 2020年3月31日
Auto-Context R-CNN
Arxiv
4+阅读 · 2018年7月8日
VIP会员
相关VIP内容
专知会员服务
23+阅读 · 2021年9月16日
专知会员服务
35+阅读 · 2021年9月15日
专知会员服务
19+阅读 · 2021年8月5日
专知会员服务
7+阅读 · 2021年4月4日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
专知会员服务
41+阅读 · 2020年2月20日
相关资讯
微信扫码咨询专知VIP会员