北航发布「深度学习人群计数」2020综述论文，220+基于CNN的密度估计和人群计数的方法大调研

2020 年 4 月 1 日 专知

【导读】人群估计在实际应用中有着重要的意义，如人群分析和视频监控中，人群计数对于构建更高层次的认知能力至关重要。近来，北航的学者发布了关于基于CNN的人群计数综述论文，调研了220+工作，对人群计数模型进行了全面、系统的研究，值得关注。

地址：

https://arxiv.org/abs/2003.12783

准确地估计一幅图像中物体的数量是一项具有挑战性而又有意义的工作，并已在城市规划和公共安全等诸多领域得到了应用。在各种对象计数任务中，人群计数因其对社会保障和发展的特殊意义而显得尤为突出。幸运的是，人群计数技术的发展可以推广到其他相关领域，如车辆计数和环境调查，如果不考虑他们的特点。因此，许多研究者致力于人群计数，涌现出许多优秀成果。在这些工作中，它们对人群计数的发展一定是有帮助的。然而，我们应该考虑的问题是，为什么它们对这项任务是有效的。由于时间和精力的限制，我们无法分析所有的算法。在本文中，我们调查了220+工作，对人群计数模型进行了全面、系统的研究，主要是基于CNN的密度图估计方法。最后，根据评价指标，我们在人群统计数据集中选取了表现最好的前三名，并对其优缺点进行了分析。通过我们的分析，我们希望对人群计数的未来发展做出合理的推断和预测，同时也可以为其他领域的对象计数问题提供可行的解决方案。我们提供了NWPU数据集验证集中一些主流算法的密度图和预测结果，以供比较和测试。同时，还提供了密度图生成和评价工具。所有的代码和评估结果在https://github.com/guangshuai/survey-forcrowd -counting上公开。

概述

在过去的几十年里，越来越多的研究社区将物体计数问题作为主要的研究方向，因此，许多作品被发表来计算图像或视频中物体的数量，这些作品跨越了各种各样的领域，如人群计数，细胞显微，树叶，环境调查。在所有这些领域中，人群计数是至关重要的，在一些人群场景中，如人群分析和视频监控中，人群计数对于构建更高层次的认知能力至关重要。随着世界人口的不断增长和随之而来的城市化，在许多场合，如游行、音乐会和体育场，人群迅速聚集。在这些场景中，人群计数对于社会安全和控制管理起着不可或缺的作用。

考虑到上述人群计数的特殊重要性，越来越多的研究人员尝试设计各种复杂的项目来解决人群计数的问题。特别是在过去的五年中，随着深度学习的出现，基于卷积神经网络(CNNs)的模型在各种计算机视觉任务中占据了压倒性的主导地位，包括人群计数。虽然不同的任务有其独特的属性，但也存在共同的特征，如结构特征和分布模式。幸运的是，人群计数技术可以通过特定的工具扩展到其他领域。因此，本文希望通过对人群计数任务的深度挖掘，特别是基于CNN的密度估计和人群计数模型，为其他任务提供合理的解决方案。我们的调查旨在涉及各个部分，从一些有趣的尚未探索的研究方向的算法分类。除了对现有的基于CNN的人群计数和密度估计模型、代表数据集和评价指标进行分类审查外，还研究了一些在很大程度上影响设计模型性能的因素和属性，如干扰因素和阴性样本。我们在NWPU数据集的验证集[wang2020nwpu]中提供了一些主流算法的密度图和预测结果进行对比和测试。同时，还提供了密度图生成和评价工具。所有的代码和评估结果在

https://github.com/guangshuai/survey-forcrowd -counting

图1 简短的人群计数发展年表。2015年，深度学习技术首次用于人群计数。有关更详细的描述，请参见第1节。图中里程碑模型:MLR[52]、KRR[53]、Chan等[27]、Lemptisky等[16]、RR[27]1、CA-RR[54]、Count Forest[27]2、Wang等[27]3、Fu等[27]0、Cross scene[27]4、MCNN[27]5、lzon -CNN[27]6、CP-CNN[27]8、CMTL[55]、switch CNN[27]7、CSRNet[12]、SANet[11]、PSSDN[56]、LSF-CNN[57]。过去几年的趋势是设计基于多列(绿色)、单列(红色)网络架构和基于计数技术的对象定位或跟踪的人群计数模型(深红)，这是当代和未来的潜在方向。传统的启发式方法以蓝色阴影区域为背景，而现代基于CNN的密度估计和人群计数模型分别以红色阴影区域为背景。

本文贡献：

全面、系统地从各个方面进行综述。我们根据网络结构、监督形式、学习范式等几个分类对基于CNN的模型进行了分类。分类可以通过对基于CNN的方法的关键技术的深入了解来激励研究。
基于属性的性能分析。在分析SOTA方法性能的基础上，分析了SOTA方法性能良好的原因和使用的技术。此外，我们还讨论了促使研究人员设计更有效算法的各种挑战因素。
开放的问题和未来的方向。通过对模型设计、数据集收集和一些具有领域自适应或迁移学习的其他领域的推广等重要问题的研究，探索了未来一些有前景的研究方向。

专知便捷查看