弱监督语义分割是一项具有挑战性的任务,因为没有提供像素级的标签信息供训练使用。最近的方法利用分类网络,通过选择具有强响应的区域来定位目标。然而,虽然这种响应映射提供了稀疏信息,但在自然图像中像素之间存在很强的两两关系,可以利用这种两两关系将稀疏映射传播到更密集的区域。本文提出了一种迭代算法来学习这种两两关系,它由两个分支组成,一个是学习每个像素的标签概率的一元分割网络,另一个是学习亲和矩阵并细化由一元网络生成的概率图的两两亲和网络。将两两网络的细化结果作为监督,对一元网络进行训练,通过迭代的方法逐步获得较好的分割效果。为了在不需要精确标注的情况下获得可靠的像素亲和力,我们还提出了可信区域的挖掘方法。我们证明了迭代训练这个框架等价于优化一个收敛到局部最小值的能量函数。在PASCAL VOC 2012和COCO数据集上的实验结果表明,所提出的算法在性能上优于目前最先进的方法。

成为VIP会员查看完整内容
0
36

相关内容

国际计算机视觉杂志IJCV(International Journal of Computer Vision)详细介绍了这个迅速发展的领域的科学和工程技术。常规文章介绍了广泛关注的重大技术进步。调查文章提供了对最新技术水平的评论和/或相关主题的教程演示。主题范围包括:计算机视觉的数学,物理和计算方面:图像形成,处理,分析和解释;机器学习技术;统计方法;传感器。应用程序:基于图像的渲染,计算机图形学,机器人技术,照片解释,图像检索,视频分析和注释,多媒体等。与人类感知的联系:人类视觉的计算和架构方面。该期刊还包括书评,立场文件,顶尖科学人物的社论以及其他在线资料,例如静止图像,视频序列,数据集和软件。 官网地址:http://dblp.uni-trier.de/db/journals/ijcv/

基于学习的图匹配方法已经发展和探索了十多年,最近在范围和受欢迎程度方面迅速增长。然而,以往的基于学习的算法,无论有没有深度学习策略,都主要关注节点和/或边缘亲和力生成的学习,而对组合求解器的学习关注较少。在这篇论文中,我们提出了一个完全可训练的图匹配框架,在这个框架中,亲和的学习和组合优化的求解不像以前的许多技术那样被明确地分开。首先将两个输入图之间的节点对应问题转化为从一个构造的赋值图中选择可靠节点的问题。然后,利用图网络块模块对图进行计算,形成每个节点的结构化表示。最后对每个节点预测一个用于节点分类的标签,并在正则化的排列差异和一对一匹配约束下进行训练。该方法在四个公共基准上进行了评估,并与最先进的算法进行了比较,实验结果表明了该方法的良好性能。

成为VIP会员查看完整内容
0
24

题目: Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation

摘要: 图像级弱监督语义分割是近年来深入研究的一个具有挑战性的问题。大多数高级解决方案都利用类激活映射(CAM)。然而,由于监督的充分性和弱监督的差距,CAMs很难作为目标掩模。在这篇论文中,我们提出了一个自我监督的等变注意机制(SEAM)来发现额外的监督并缩小差距。我们的方法是基于等方差是完全监督语义分割的一个隐含约束,其像素级标签在数据扩充过程中与输入图像进行相同的空间变换。然而,这种约束在图像级监控训练的凸轮上丢失了。因此,我们提出了对不同变换图像的预测凸轮进行一致性正则化,为网络学习提供自监督。此外,我们提出了一个像素相关模块(PCM),它利用上下文外观信息,并改进当前像素的预测由其相似的邻居,从而进一步提高CAMs的一致性。在PASCAL VOC 2012数据集上进行的大量实验表明,我们的方法在同等监督水平下表现优于最先进的方法。

成为VIP会员查看完整内容
0
61

场景流估计在三维环境感知中越来越受到重视。单目场景流估计是一个高度不适定的问题,目前缺乏实用的解决方案。单目场景流估计是从两个时间上连续的图像中获取三维结构和三维运动。我们提出了一种新的单目场景流算法,该算法具有较强的精度和实时性。采用逆问题观点,我们设计了一个单独的卷积神经网络(CNN),它可以成功地从一个经典的光流成本体积同时估计深度和三维运动。我们采用带有三维损失函数和遮挡推理的自监督学习来利用未标记的数据。我们验证了我们的设计选择,包括代理丢失和增加设置。我们的模型在单目场景流的无监督/自监督学习方法中达到了最先进的精度,并在光流和单目深度估计子任务中获得了具有竞争力的结果。半监督微调进一步提高了精度,并在实时产生有希望的结果。

成为VIP会员查看完整内容
0
17

当对一系列学习问题进行优化时,卷积神经网络会经历灾难性的遗忘:当满足当前训练示例的目标时,它们在以前任务中的性能会急剧下降。在这项工作中,我们介绍了一个基于条件计算的新的框架来解决这个问题。

成为VIP会员查看完整内容
0
14

主题: Weakly-Supervised Salient Object Detection via Scribble Annotations

摘要: 与费力的逐像素密集标记相比,这种方法更容易通过涂抹来标记数据,仅花费1-2秒即可标记一张图像。然而,尚未有人探索使用可划线标签来学习显着物体检测。在本文中,我们提出了一种弱监督的显着物体检测模型,以从此类注释中学习显着性。为此,我们首先使用乱码对现有的大型显着物体检测数据集进行重新标记,即S-DUTS数据集。由于对象的结构和详细信息不能通过乱写识别,因此直接训练带有乱写的标签将导致边界位置局限性的显着性图。为了缓解这个问题,我们提出了一个辅助的边缘检测任务来明确地定位对象边缘,并提出了门控结构感知损失以将约束置于要恢复的结构范围上。此外,我们设计了一种涂鸦增强方案来迭代地整合我们的涂鸦注释,然后将其作为监督来学习高质量的显着性图。我们提出了一种新的度量标准,称为显着性结构测量,用于测量预测显着性图的结构对齐方式,这与人类的感知更加一致。在六个基准数据集上进行的大量实验表明,我们的方法不仅优于现有的弱监督/无监督方法,而且与几种完全监督的最新模型相提并论。

成为VIP会员查看完整内容
0
32
小贴士
相关资讯
相关论文
Ke Sun,Zhanxing Zhu,Zhouchen Lin
6+阅读 · 2019年2月28日
Fréderic Godin,Anjishnu Kumar,Arpit Mittal
3+阅读 · 2019年2月26日
Marvin T. T. Teichmann,Roberto Cipolla
7+阅读 · 2018年5月15日
Ankan Bansal,Karan Sikka,Gaurav Sharma,Rama Chellappa,Ajay Divakaran
6+阅读 · 2018年4月12日
Xiaolong Wang,Yufei Ye,Abhinav Gupta
18+阅读 · 2018年4月8日
Zhishuai Zhang,Siyuan Qiao,Cihang Xie,Wei Shen,Bo Wang,Alan L. Yuille
11+阅读 · 2018年4月8日
Yanzhao Zhou,Yi Zhu,Qixiang Ye,Qiang Qiu,Jianbin Jiao
3+阅读 · 2018年4月3日
Pengkai Zhu,Hanxiao Wang,Tolga Bolukbasi,Venkatesh Saligrama
5+阅读 · 2018年3月19日
Jiajie Wang,Jiangchao Yao,Ya Zhang,Rui Zhang
8+阅读 · 2018年2月10日
Jonathan Long,Evan Shelhamer,Trevor Darrell
3+阅读 · 2015年3月8日
Top
微信扫码咨询专知VIP会员