显著性检测 | 背景吸收的马尔可夫显著性目标检测

2018 年 7 月 6 日 中国图象图形学报

引导关注动图

引用格式

Jiang F L, Zhang H T, Yang J, Kong B . Image saliency detection based on background-absorbing Markov chain[J]. Journal of Image and Graphics, 2018, 23(6): 857-865. [蒋峰岭, 张海涛, 杨静, 孔斌. 背景吸收的马尔可夫显著性目标检测[J]. 中国图象图形学报, 2018, 23(6): 857-865.]

DOI: 10.11834/jig.170492

原文链接

http://www.cjig.cn/html/jig/2018/6/weixin/20180608.htm

文后有彩蛋↓↓↓

国内外优秀视觉显著性检测 算法集锦

导语：显著性目标检测能够减少后续视觉任务的数据处理量，当目标的形状轮廓或色彩纹理组成复杂时，准确地检测出完整的显著性目标是一项具有挑战性的工作。

专家推荐

本文提出了一种背景吸收的马尔可夫显著性目标检测方法，能够克服原有方法在吸收节点选择、结果等方面的缺陷，在3个不同类型的公开数据集上与多种现有方法的比较实验表明，整体上本文方法在PR曲线、F值以及视觉效果上均有明显的优势。

论文亮点

1、将原始图象分割成不同数量的超像素块并筛选出合适的边界，分别基于边界节点吸收和背景节点吸收计算获得显著图，能够适应复杂场景得到鲁棒的结果。

2、提出了一种基于边界选择、背景节点选择的多层图融合模型，使得最终获得的显著图具有更好的显著性表达能力。

论文方法

在SLIC分割的基础上，首先通过差异化筛选去除差异较大的边界，选择剩余三条边界上的节点进行复制作为马尔可夫链的吸收节点，通过计算转移节点的吸收时间获得初始的显著图，然后从初始显著图中选择背景可能性较大的节点进行复制作为吸收节点，再进行一次重吸收计算获得显著图，并对来自不同数量超像素块分割结果导出的多层显著图进行融合获得最终的显著图。

图1 本文方法的流程图

实验结果

实验在ASD、DUT-OMRON和SED3个数据集上，对比了现有的12种方法。ASD数据集包含1 000幅自然图像；DUT-OMRON数据集中有5168幅具有复杂背景且显著目标大小不一的图片；SED数据集中有200幅具有挑战性的图像。设置初始的边界选择时的参数超像素个数为m=250，获取背景吸收节点时的阈值t=0.015。

图2显示了多种方法在ASD数据集上的PR曲线和F值结果。图3和图4是在DUT-OMRON数据集和SED数据集进行对比的结果。从PR 曲线和F值结果可以看出，在ASD和DUT-OMRON数据集上，PR曲线和F值均是最高的，SED数据集中，PR曲线是最好的，F值略低于MC方法，但整体而言，本文算法优于其他12种现有的算法。

在图5中给出在3种不同的数据集上，各种算法的视觉比较，从图5可以看出本文的显著图结果在视觉效果上能够更好地突出整个目标，从直观上来看，本文算法优于其他12种算法。

图2 多种算法在ASD数据集上PR曲线与F值比较

图3 多种算法在DUT-OMRON数据集上PR曲线与F值比较

图4 多种算法在SED数据集上PR曲线与F值比较

图5 在3种数据库上不同方法的视觉比较

算法集锦

近年国内外优秀的视觉显著性检测算法

1、Itti等人^[^1]提出基于Koch生物识别框架，提取了多尺度的亮度、颜色、方向特征，采用中央周边差操作构造特征图，再将特征整合后突出显著性区域；

2、Harel等人^[^2]提出了一种基于图的视觉显著性检测模型；

3、Hou等人^[^3]提出了一个频谱残差模型(SR方法)来计算显著性；

4、Jiang等人^[^4]提出的基于马尔可夫链的方法(MC方法)中，关注节点在马尔可夫链上的随机游走过程，根据转移节点到吸收节点的吸收时间的不同，获得超像素块的显著值;

5、Qin等人^[^5]提出了基于元胞自动机的方法；

6、Tu等人^[^6]引入最小生成树的方法，可以获得一个实时显著性检测方法。

[1] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254–1259. [DOI:10.1109/34.730558]

[2] Harel J, Koch C, Perona P. Graph-based visual saliency[C]//Proceedings of the 19th International Conference on Neural Information Processing Systems. Kitakyushu, Japan: ACM, 2006: 545-552. [DOI:10.1.1.70.2254]

[3] Hou X D, Zhang L Q. Saliency detection: a spectral residual approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, Minnesota, USA: IEEE, 2007: 1-8. [DOI:10.1109/CVPR.2007.383267]

[4] Jiang B W, Zhang L H, Lu H C, et al. Saliency detection via absorbing Markov chain[C]//Proceedings of IEEE International Conference on Computer Vision. Sydney, NSW, Australia: IEEE, 2013: 1665-1672. [DOI:10.1109/ICCV.2013.209]

[5] Qin Y, Lu H C, Xu Y Q, et al. Saliency detection via cellular automata[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 110-119. [DOI:10.1109/CVPR.2015.7298606]

[6] Tu W C, He S F, Yang Q X, et al. Real-time salient object detection with a minimum spanning tree[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 2334-2342. [DOI:10.1109/CVPR.2016.256]

第一作者

蒋峰岭，现为中国科学技术大学模式识别与智能系统专业博士研究生，目前主要研究方向为计算机视觉。邮箱:fljiang@mail.ustc.edu.cn

通信作者

孔斌，研究员，博士生导师。中科院合肥智能机械研究所仿生视觉实验室负责人。任中国图象图形学学会理事，中国人工智能学会智能机器人专业委员会委员，安徽省人工智能学会理事。多年来一直从事图象处理、计算机视觉相关的研究工作，获中科院科技进步二等奖一项，发表论文40余篇，EI收录30多篇，申请国家发明专利10项。先后参加和承担国家攻关、国家自然科学基金、国家863、973等以及中科院下达和地方委托的科研项目二十多项。目前，主要研究方向为智能机器人环境感知、工农业机器视觉应用、仿生计算机视觉等。邮箱:bkong@iim.ac.cn.

INTRODUCTION

实验室介绍

中国科学院合肥智能机械研究所是中国科学院合肥物质科学研究院的重要研究单元之一，致力于在仿生感知、信息获取、智能农业信息系统、智能检测与控制、微纳米技术、先进制造、安全系统等重要领域为国家做出基础性、战略性和前瞻性的研究和贡献。建所近四十年来，智能所先后承担了国家自然科学基金、“863”计划、“973”计划、国际科技合作计划、中科院、省部及地方科技攻关等课题近千项，取得了一大批重要科技成果，获得了国家科学技术进步二等奖、联合国世界信息峰会大奖、安徽省科技进步一等奖等100多项科技奖，并承办中国自动化学会核心学术期刊《模式识别与人工智能》。

作者所在研究团队主要研究方向为智能机器人环境感知、工农业机器视觉应用、仿生计算机视觉等。近年来参加国家自然科学基金重大研究计划重点项目和集成项目、中国科学院战略性先导科技专项课题等的研究，参与研制的“智能先锋号”无人车在国家自然科学基金委员会主办的“中国智能车未来挑战赛”多次获得优秀成绩。