In this paper, we present a novel end-to-end group collaborative learning network, termed GCoNet+, which can effectively and efficiently (250 fps) identify co-salient objects in natural scenes. The proposed GCoNet+ achieves the new state-of-the-art performance for co-salient object detection (CoSOD) through mining consensus representations based on the following two essential criteria: 1) intra-group compactness to better formulate the consistency among co-salient objects by capturing their inherent shared attributes using our novel group affinity module (GAM); 2) inter-group separability to effectively suppress the influence of noisy objects on the output by introducing our new group collaborating module (GCM) conditioning on the inconsistent consensus. To further improve the accuracy, we design a series of simple yet effective components as follows: i) a recurrent auxiliary classification module (RACM) promoting model learning at the semantic level; ii) a confidence enhancement module (CEM) assisting the model in improving the quality of the final predictions; and iii) a group-based symmetric triplet (GST) loss guiding the model to learn more discriminative features. Extensive experiments on three challenging benchmarks, i.e., CoCA, CoSOD3k, and CoSal2015, demonstrate that our GCoNet+ outperforms the existing 12 cutting-edge models. Code has been released at https://github.com/ZhengPeng7/GCoNet_plus.


翻译:在本文中,我们提出了一种新颖的端到端团体协作学习网络,称为GCoNet+,它可以有效、高效地(250 fps)识别自然场景中的共同显著对象。所提出的GCoNet+通过基于以下两个基本标准挖掘共识表示,从而实现共同显著目标检测(CoSOD)的新最优性能:1)团体内的紧凑性,以更好地制定共同显著对象之间的一致性,通过使用我们的新团体亲和模块(GAM)捕捉它们固有的共享属性;2)团体间的可分性,通过引入我们的新的团体协作模块(GCM)以在不一致共识的条件下进行约束来有效地抑制噪声对象对输出的影响。为进一步提高精度,我们设计了一系列简单而有效的组件,包括:i)促进语义级别的模型学习的循环辅助分类模块(RACM);ii)协助模型改善最终预测质量的置信度增强模块(CEM);以及 iii)指导模型学习更具辨别性特征的基于组的对称三元组(GST)损失。在三个具有挑战性的基准测试中,即CoCA,CoSOD3k和CoSal2015上进行了大量实验,结果表明我们的GCoNet+优于现有的12个尖端模型。代码已在https://github.com/ZhengPeng7/GCoNet_plus发布。

0
下载
关闭预览

相关内容

【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
专知会员服务
42+阅读 · 2021年8月20日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月26日
Arxiv
11+阅读 · 2022年3月16日
Arxiv
11+阅读 · 2019年4月15日
Arxiv
12+阅读 · 2019年4月9日
Arxiv
10+阅读 · 2019年1月24日
Arxiv
19+阅读 · 2018年5月17日
VIP会员
相关VIP内容
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
专知会员服务
42+阅读 · 2021年8月20日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员