「面向复杂场景的行人重识别」最新2022研究进展综述

2022 年 11 月 3 日 专知

行人重识别(PersonReＧIdentification,简称 ReＧID)旨在研究多个不相交摄像头间特定行人的匹配问题.文中首次以复杂场景中需要克服的挑战为行人重识别论文的分类依据,将２０１０－２０２１年期间发表的研究成果分为７类,即姿势问题、遮挡问题、照明问题、视角问题、背景问题、分辨率问题以及开放性问题,该分类方式有利于研究人员从实际需求出发,根据要解决的问题找到相应的解决方案.首先回顾行人重识别的研究背景、意义及研究现状,总结当前主流的行人重识别框架,统计了２０１３年以来发表在三大计算机视觉顶级会议 CVPR,ICCV 以及 ECCV 的论文情况和国家基金项目中 ReＧID 的相关项目情况; 其次就复杂场景中面临的七大挑战,分别从问题成因和解决方案两方面对现有文献展开分析,归纳总结出处理各类挑战的主流方法;然后给出了行人重识别研究中泛化性较高的方法,并列举了当前行人重识别研究的难点;最后讨论了行人重识别未来的发展趋势.

https://www.jsjkx.com/CN/10.11896/jsjkx.211200207

引言

行人重识别是计算机视觉领域的研究热点之一,旨在研究不重叠的多个摄像区域间对于特定行人的匹配准确率,是图像检索的子问题[１],多应用于安防和刑侦.我国实现的视频监控“天网”,就是通过在人流量大的公共区域密集安装监控设备来实现“平安城市”建设.尽管部分摄像头可转动,但仍存在监控盲区和死角等局限性问题,ReＧID 技术弥补了摄像设备的视觉局限性.然而,在实际应用中,异时异地相同行人的图像数据,在姿势、前景背景、光线视角以及成像分辨率等方面差异较大,使得 ReＧID研究具有挑战性. 图１给出了 ReＧID 技术框架,描绘了 ReＧID 的实现流程和关键技术.ReＧID 技术主要包括特征提取和相似度度量, 具体为:对监控视频帧进行检测和剪裁操作形成候选集,再与待检索行人图像进行对比,最后根据相似度排序得到匹配结果.

计算机视觉的热点问题主要有图像分割[２Ｇ４]、动作识别与姿势估计[５Ｇ９]、目标检测跟踪[１０Ｇ１３]、人脸技术[１４Ｇ１６]和 ReＧID等. ReＧID技术的研究工作的开展时间较早,１９９６年 Cai等[１７]首次开展了相关研究.传统 ReＧID方法对行人衣着色块及形状等视觉特征进行手工标注,将标注好的图像通过距离度量学习[１８]得到行人相似度排序,其检索效率低下且人工成本较高.随着深度学习在图像领域的不断发展,２０１４年起,大量的科研人员将深度学习应用到 ReＧID 中,实现了更深层次的特征提取和更有效的度量学习算法[１９].为了提高准确率,ReＧID工作主要针对两方面进行:１)针对图像,提取更具有代表性的特征表示;２)针对距离,设计更有效的度量学习方法.

近年来,在各种国际顶级会议中 ReＧID 相关研究论文的收录数量较多,图２统计了２０１３年以来发表在三大计算机视觉顶级会议 CVPR,ICCV 以及 ECCV 的论文情况.

图３给出了２０１３年以来国家基金项目中 ReＧID 项目的数量变化情况,其整体呈上升趋势.日益增长的 ReＧID 项目数量带来了该技术的激烈竞争,促进了 ReＧID技术的发展;国家基金的资助是科研工作的保障,也促使 ReＧID 研究受到越来越多的关注.

深度学习的引入使 ReＧID 的准确率有较大提升,但应用场景的复杂性及特殊性等仍是 ReＧID技术的瓶颈.本文从另一个角度分析了复杂场景下 ReＧID 所面临的问题和挑战,并简析了各类问题形成的原因,最后总结了各类问题主流的解决方法,并给出了未来可行的研究方向.本文的主要贡献如下:

(１) 首次以复杂场景中存在的实际挑战为分类依据,将２０１０－２０２１年期间发表的 ReＧID 论文按问题主导类型进行分类, 主要包括行人姿势变化、目标遮挡、照明差异、视角差异、背景变化、图像分辨率差异以及开放性问题,如图４所示.

(２) 通过对文献提出的模型进行归纳,总结出对应的解决每一类挑战的主流解决方案,便于研究人员从实际需求出发, 根据要解决的问题在本文中快速地找到相应的解决方案,并在现有研究成果上进行更深入的研究.

(３) 总结了可同时用于解决多个 ReＧID 挑战的泛化性方法.ReＧID在实际应用中遇到的问题通常不是相互独立的, 复杂场景下往往会遇到多重挑战.经过对大量综述文章的阅读,我们总结出了一些现存的泛化性方法,这些方法在解决特定挑战的同时可以一定程度地帮助解决其他挑战.

(４) 最后总结了研究中目前尚未解决的难点和未来的发展方向,如跨域 ReＧID问题等.

2. 行人重识别的困难与挑战

行人数据来源于异时异地的不同设备,存在不同程度的行人姿势变化、目标遮挡、照明差异、视角差异、背景变化、设备像素差异以及开放性问题等,给 ReＧID 研究带来了巨大的挑战.下文简析 ReＧID领域出现以上挑战的原因.(１)姿势变化问题. 由于同一行人多张图片存在拍摄时间差,而且行人在不间断地运动,导致多张同一行人图像数据间存在姿势差异. (２) 目标遮挡问题. 摄像镜头与目标行人之间存在障碍物,导致目标行人在照片或视频中表现出身体局部缺失的问题.(３)照明变化问题.由于多张行人图像的拍摄时间和地点不同、拍摄设备对颜色的敏感度不同,因此会出现天色明暗变化和照明差异等,导致行人图像的色彩差异大.(４)视角变化问题.由于摄像设备架设的高度不统一、摄像头可以进行一定角度的旋转等,导致行人图像的拍摄视角出现垂直方向上从平视到俯视的不同、水平方向上从正视到侧视的不同.(５)背景问题. 不同摄像设备架设的地理位置不同,导致拍摄到的行人图像背景有差异;同一台摄像设备偏转不同角度拍摄,同样会导致图像的背景差异;除此之外,两张图像拍摄时光照、天气不同也会造成图像背景的差异性.(６)分辨率问题. 不同摄像设备像素差异导致拍摄的行人图像分辨率不同;相同摄像设备架设高度不同也会影响分辨率,例如架设高则拍摄范围大,在成像中越靠近边缘位置的目标越小,经剪裁放大后分辨率越低.(７)开放性问题. 开放性问题主要包括除以上６个主要影响外的其他相关小问题,如服装更换的问题、黑衣人问题以及数据问题等.对于在服装问题上进行的 ReＧID 研究,在实验阶段默认行人短期服装不变,实际应用中 ReＧID 所采集的数据源一般时间跨度较大,行人服装会产生较大变化且深色衣物较难进行特征提取;较新颖的 ReＧID 研究点被提出时存在数据集中数据量不足、大量数据标注错误,以及标准数据集中数据类型不足以满足特殊问题的实验开展等问题.

3. 泛化性方法

ReＧID在实际应用中遇到的问题通常不是相互独立的, 复杂场景下的 ReＧID工作会遇到多重挑战.经过对大量综述文章的阅读,我们总结出了一些现存的研究方法,可以同时解决多领域下的问题.本文总结了可以同时解决 ReＧID 面临的多个挑战的方法,如表１所列.

由表１可知,ReＧID 中着手解决实际挑战的研究主要集中在姿势和遮挡问题中,对不同分辨率问题的研究较少.其主要原因在于,标准数据集来自同一批架设的同配置相机,同一数据集中较少有不同分辨率的图像.

４未来研究方向

本文从实际应用出发,开展对 ReＧID 的研究.我们将 ReＧID实际应用中会遇到的挑战分为以下几类:首先从行人自然姿态的不同和检测算法精度差异两个角度介绍了 ReＧID 的姿态问题;其次根据固定遮挡和前景遮挡两种不同的遮挡方式介绍了 ReＧID的遮挡问题;然后针对不同照明和多模态相机两种常见问题介绍了 ReＧID 的照明问题;最后从角度问题、背景问题和分辨率问题３个方面来介绍 ReＧID 的不同处理方式.除此之外,近年来发表了许多新颖且重要的论题, 我们在开放性问题中进行了讨论. 近年来 ReＧID技术发展迅速,在实验阶段取得了不错的学术成果,但仍存在一些在挑战有待进一步的研究.

(１) 数据集.ReＧID 技术在几个大规模的标准数据集上取得了阶段性成果,但是仍存在一些在标准数据集上无法处理的问题,例如针对换衣场景、真实多源场景等问题的研究方法存在没有标准数据集、实验数据的比对针对性不强的问题. 因此,在真实多源任务的标准数据集上数据的收集和创建问题亟待解决.

(２) 数据标注.对 ReＧID 的样本标注是一个开销较大的任务,在实验中应该尽量使用少量标注或无标注的样本学习网络模型.在未来的研究中,基于半监督或无监督学习的 ReＧID研究是一项工作重点.

(３) 跨域识别.在实际应用的 ReＧID场景中,需要同时处理多个实验阶段的单一挑战域,例如不同分辨率常见于不同批次架设的镜头、时间地点的改变导致光照和环境不同等问题同时存在且常见.ReＧID系统需具备应对多挑战的自动处理机制,这是未来研究须解决的问题.

(４)复杂场景识别.嫌疑人往往选择夜间照明条件不好的时间点或有明显遮挡物的地点出行,以试图躲避被拍摄. 若要将 ReＧID方法应用到刑侦中,复杂场景下的 ReＧID 是未来要解决的问题.

(５)合成图像与真实图像之间的差异性问题.目前 ReＧ ID中对于数据集不足的解决方法之一是使用合成图像,合成图像在一定程度上可以解决特定问题,但是由于合成图像有意规避了干扰因素,因此其不足以替代实际应用中的真实图像.使用合成图像时应该进行相应的预处理工作,以弥补与真实行人图像之间的差异.

(６)模型自动更新.ReＧID的算法模型层出不穷,针对每一类挑战的网络模型往往有较多的相似之处,应该做到低成本高效率的 ReＧID,例如微调现存网络模型,使其能应用到新的拍摄场景,或利用新数据优化之前的模型等. 结束语本文围绕行 ReＧID 在实际应用中会遇到的问题,梳理了２０１０Ｇ２０２１年 ReＧID方面的主要研究,针对实际应用中遇到的问题进行分类,介绍了每种类型的问题及现有解决方案,继而总结了解决多挑战问题的方法,最后讨论了 ReＧ ID未来的研究方向.综上,本文对复杂场景中存在的实际挑战作为分类依据的 ReＧID 进行了综述,有望为未来 ReＧID 系统的深入研究提供重要指导.

专知便捷查看