「面向复杂场景的行人重识别综述 」最新2022研究进展综述

行人重识别(PersonReＧIdentification,简称 ReＧID)旨在研究多个不相交摄像头间特定行人的匹配问题.文中首次以 复杂场景中需要克服的挑战为行人重识别论文的分类依据,将２０１０－２０２１年期间发表的研究成果分为７类,即姿势问题、遮挡 问题、照明问题、视角问题、背景问题、分辨率问题以及开放性问题,该分类方式有利于研究人员从实际需求出发,根据要解决的 问题找到相应的解决方案.首先回顾行人重识别的研究背景、意义及研究现状,总结当前主流的行人重识别框架,统计了２０１３ 年以来发表在三大计算机视觉顶级会议 CVPR,ICCV 以及 ECCV 的论文情况和国家基金项目中 ReＧID 的相关项目情况; 其次就复杂场景中面临的七大挑战,分别从问题成因和解决方案两方面对现有文献展开分析,归纳总结出处理各类挑战的主流方 法;然后给出了行人重识别研究中泛化性较高的方法,并列举了当前行人重识别研究的难点;最后讨论了行人重识别未来的发 展趋势.

https://www.jsjkx.com/CN/10.11896/jsjkx.211200207

引言

行人重识别是计算机视觉领域的研究热点之一,旨在研 究不重叠的多个摄像区域间对于特定行人的匹配准确率,是 图像检索的子问题[１],多应用于安防和刑侦.我国实现的视 频监控“天网”,就是通过在人流量大的公共区域密集安装监 控设备来实现“平安城市”建设.尽管部分摄像头可转动,但 仍存在监 控 盲 区 和 死 角 等 局 限 性 问 题,ReＧID 技 术 弥 补 了摄像设备的视觉局限性.然而,在实际应用中,异时异地相同 行人的图像数据,在姿势、前景背景、光线视角以及成像分辨 率等方面差异较大,使得 ReＧID研究具有挑战性. 图１给出了 ReＧID 技术框架,描绘了 ReＧID 的实现流程 和关键技术.ReＧID 技术主要包括特征提取和相似度度量, 具体为:对监控视频帧进行检测和剪裁操作形成候选集,再与 待检索行人 图 像 进 行 对 比,最 后 根 据 相 似 度 排 序 得 到 匹 配 结果.

计算机视觉的热点问题主要有图像分割[２Ｇ４]、动作识别与 姿势估计[５Ｇ９]、目标检测跟踪[１０Ｇ１３]、人脸技术[１４Ｇ１６]和 ReＧID等. ReＧID技术的研究工作的开展时间较早,１９９６年 Cai等[１７]首 次开展了相关研究.传统 ReＧID方法对行人衣着色块及形状 等视觉特征进行手工标注,将标注好的图像通过距离度量学 习[１８]得到行人相似度排序,其检索效率低下且人 工 成 本 较 高.随着深度学习在图像领域的不断发展,２０１４年起,大量 的科研人员将深度学 习 应 用 到 ReＧID 中,实 现 了 更 深 层 次 的特征提取和更有效的 度 量 学 习 算 法[１９].为 了 提 高 准 确 率,ReＧID工作主要针对 两 方 面 进 行:１)针 对 图 像,提 取 更 具有代表性的特征 表 示;２)针 对 距 离,设 计 更 有 效 的 度 量 学习方法.

近年来,在各种国际顶级会议中 ReＧID 相关研究论文的 收录数量较多,图２统计了２０１３年以来发表在三大计算机视 觉顶级会议 CVPR,ICCV 以及 ECCV 的论文情况.

图３给出了２０１３年以来国家基金项目中 ReＧID 项目的 数量变化情况,其整体呈上升趋势.日益增长的 ReＧID 项目 数量带来了该技术的激烈竞争,促进了 ReＧID技术的发展;国 家基金的资助是科研工作的保障,也促使 ReＧID 研究受到越 来越多的关注.

深度学习的引入使 ReＧID 的准确率有较大提升,但应用 场景的复杂性及特殊性等仍是 ReＧID技术的瓶颈.本文从另 一个角度分析了复杂场景下 ReＧID 所面临的问题和挑战,并 简析了各类问题形成的原因,最后总结了各类问题主流的解 决方法,并 给 出 了 未 来 可 行 的 研 究 方 向.本 文 的 主 要 贡 献 如下:

(１) 首次以复杂场景中存在的实际挑战为分类依据,将 ２０１０－２０２１年期间发表的 ReＧID 论文按问题主导类型进行分类, 主要包括行人姿势变化、目标遮挡、照明差异、视角差 异、背景变化、图像分辨率差异以及开放性问题,如图４所示.

(２) 通过对文献提出的模型进行归纳,总结出对应的解决 每一类挑战的主流解决方案,便于研究人员从实际需求出发, 根据要解决的问题在本文中快速地找到相应的解决方案,并 在现有研究成果上进行更深入的研究.

(３) 总结了可同时用于解决多个 ReＧID 挑战的泛化性方 法.ReＧID在实际应用中遇到的问题通常不是相互独立的, 复杂场景下往往会遇到多重挑战.经过对大量综述文章的阅 读,我们总结出了一些现存的泛化性方法,这些方法在解决特 定挑战的同时可以一定程度地帮助解决其他挑战.

(４) 最后总结了研究中目前尚未解决的难点和未来的发 展方向,如跨域 ReＧID问题等.

**2. 行人重识别的困难与挑战 **

行人数据来源于异时异地的不同设备,存在不同程度的 行人姿势变化、目标遮挡、照明差异、视角差异、背景变化、设 备像素差异以及开放性问题等,给 ReＧID 研究带来了巨大的 挑战.下文简析 ReＧID领域出现以上挑战的原因.(１)姿势变化问题. 由于同一行人多张图片存在拍摄时 间差,而且行人在不间断地运动,导致多张同一行人图像数据 间存在姿势差异. (２) 目标遮挡问题. 摄像镜头与目标行人之间存在障碍 物,导致目标 行 人 在 照 片 或 视 频 中 表 现 出 身 体 局 部 缺 失 的 问题.(３)照明变化问题.由于多张行人图像的拍摄时间和地 点不同、拍摄设备对颜色的敏感度不同,因此会出现天色明暗 变化和照明差异等,导致行人图像的色彩差异大.(４)视角变化问题.由于摄像设备架设的高度不统一、摄 像头可以进行一定角度的旋转等,导致行人图像的拍摄视角 出现垂直方向上从平视到俯视的不同、水平方向上从正视到 侧视的不同.(５)背景问题. 不同摄像设备架设的地理位置不同,导致 拍摄到的行人图像背景有差异;同一台摄像设备偏转不同角 度拍摄,同样会导致图像的背景差异;除此之外,两张图像拍 摄时光照、天气不同也会造成图像背景的差异性.(６)分辨率问题. 不同摄像设备像素差异导致拍摄的行 人图像分辨率不同;相同摄像设备架设高度不同也会影响分 辨率,例如架设高则拍摄范围大,在成像中越靠近边缘位置的 目标越小,经剪裁放大后分辨率越低.(７)开放性问题. 开放性问题主要包括除以上６个主要 影响外的其他相关小问题,如服装更换的问题、黑衣人问题以 及数据问题等.对于在服装问题上进行的 ReＧID 研究,在实 验阶段默认行人短期服装不变,实际应用中 ReＧID 所采集的 数据源一般时间跨度较大,行人服装会产生较大变化且深色 衣物较难进行特征提取;较新颖的 ReＧID 研究点被提出时存 在数据集中数据量不足、大量数据标注错误,以及标准数据集 中数据类型不足以满足特殊问题的实验开展等问题.

3. 泛化性方法

ReＧID在实际应用中遇到的问题通常不是相互独立的, 复杂场景下的 ReＧID工作会遇到多重挑战.经过对大量综述 文章的阅读,我们总结出了一些现存的研究方法,可以同时解 决多领域下的问题.本文总结了可以同时解决 ReＧID 面临的 多个挑战的方法,如表１所列.

由表１可知,ReＧID 中着手解决实际挑战的研究主要集 中在姿势和遮挡问题中,对不同分辨率问题的研究较少.其 主要原因在于,标准数据集来自同一批架设的同配置相机,同 一数据集中较少有不同分辨率的图像.

**４ 未来研究方向 **

本文 从 实 际 应 用 出 发,开 展 对 ReＧID 的 研 究.我 们 将 ReＧID实际应用中会遇到的挑战分为以下几类:首先从行人 自然姿态的不同和检测算法精度差异两个角度介绍了 ReＧID 的姿态问题;其次根据固定遮挡和前景遮挡两种不同的遮挡 方式介绍了 ReＧID的遮挡问题;然后针对不同照明和多模态 相机两种常 见 问 题 介 绍 了 ReＧID 的 照 明 问 题;最 后 从 角 度问题、背景问题和分辨率问题３个方面来介绍 ReＧID 的不同 处理方式.除此之外,近年来发表了许多新颖且重要的论题, 我们在开放性问题中进行了讨论. 近年来 ReＧID技术发展迅速,在实验阶段取得了不错的 学术成果,但仍存在一些在挑战有待进一步的研究.

(１) 数据集.ReＧID 技术在几个大规模的标准数据集上 取得了阶段性成果,但是仍存在一些在标准数据集上无法处 理的问题,例如针对换衣场景、真实多源场景等问题的研究方 法存在没有标准数据集、实验数据的比对针对性不强的问题. 因此,在真实多源任务的标准数据集上数据的收集和创建问 题亟待解决.

(２) 数据标注.对 ReＧID 的样本标注是一个开销较大的 任务,在实验中应该尽量使用少量标注或无标注的样本学习 网络模型.在 未 来 的 研 究 中,基 于 半 监 督 或 无 监 督 学 习 的 ReＧID研究是一项工作重点.

(３) 跨域识别.在实际应用的 ReＧID场景中,需要同时处 理多个实验阶段的单一挑战域,例如不同分辨率常见于不同 批次架设的镜头、时间地点的改变导致光照和环境不同等问 题同时存在且常见.ReＧID系统需具备应对多挑战的自动处 理机制,这是未来研究须解决的问题.

(４)复杂场景识别.嫌疑人往往选择夜间照明条件不好 的时间点或有明显遮挡物的地点出行,以试图躲避被拍摄. 若要将 ReＧID方法应用到刑侦中,复杂场景下的 ReＧID 是未 来要解决的问题.

(５)合成图像与真实图像之间的差异性问题.目前 ReＧ ID中对于数据集不足的解决方法之一是使用合成图像,合成 图像在一定程度上可以解决特定问题,但是由于合成图像有 意规避了干扰因素,因此其不足以替代实际应用中的真实图 像.使用合成图像时应该进行相应的预处理工作,以弥补与 真实行人图像之间的差异.

(６)模型自动更新.ReＧID的算法模型层出不穷,针对每 一类挑战的网络模型往往有较多的相似之处,应该做到低成 本高效率的 ReＧID,例如微调现存网络模型,使其能应用到新 的拍摄场景,或利用新数据优化之前的模型等. 结束语 本文围绕行 ReＧID 在实际应用中会遇到的问 题,梳理了２０１０Ｇ２０２１年 ReＧID方面的主要研究,针对实际应 用中遇到的问题进行分类,介绍了每种类型的问题及现有解 决方案,继而总结了解决多挑战问题的方法,最后讨论了 ReＧ ID未来的研究方向.综上,本文对复杂场景中存在的实际挑 战作为分类依据的 ReＧID 进行了综述,有望为未来 ReＧID 系 统的深入研究提供重要指导.