南理工最新「深度学习细粒度图像分析」综述论文，带你全面了解细粒度图像识别与检索方法

摘要

细粒度图像分析(FGIA)是计算机视觉和模式识别中一个长期存在的基本问题，支撑着一系列现实世界的应用。FGIA的任务是分析从属类别的视觉对象，例如鸟类的种类或汽车的模型。细粒度图像分析中固有的类间小变化和类内大变化使其成为一个具有挑战性的问题。利用深度学习的进步，近年来我们见证了基于深度学习的FGIA的显著进步。在本文中，我们对这些进展进行了系统的综述，试图通过整合两个基础的细粒度研究领域——细粒度图像识别和细粒度图像检索来重新定义和扩展FGIA领域。此外，我们还回顾了FGIA的其他关键问题，如公开可用的基准数据集和相关的领域特定应用。最后，提出了几个需要社会进一步探索的研究方向和有待解决的问题。

Fine-Grained Image Analysis with Deep Learning: A Survey

Authors: Xiu-Shen Wei, Yi-Zhe Song, Oisin Mac Aodha, Jianxin Wu, Yuxin Peng, Jinhui Tang, Jian Yang, Serge Belongie

https://www.zhuanzhi.ai/paper/1624505210a790608dd142f9de841a0d

引言

人类的视觉系统天生具有细粒度图像推理的能力——我们不仅能够区分狗和鸟，而且还能区分西伯利亚哈斯基犬和阿拉斯加雪橇犬(见图1)。细粒度图像分析(FGIA)被引入学术界也是出于同样的目的，即，以精细的方式教机器“看”。FGIA方法在工业和研究领域都有广泛的应用，例如生物多样性自动监测[1]，[2]，[3]，智能零售[4]，[5]，[6]和智能交通[7]，[8]，并在保护[9]和商业[10]等领域产生了积极的影响。

计算机视觉中FGIA的目标是检索和识别属于超类别(即元类别或基本类别)的多个从属类别的图像，如不同种类的动物/植物、不同型号的汽车、不同种类的零售产品等。因此，关键的挑战在于理解细粒度的视觉差异，这些差异足以区分总体外观高度相似但细粒度特征不同的对象。自成立近20年以来，[11]，[12]，[13]已经取得了巨大的进步。特别是深度学习[14]已经成为一种强大的判别特征学习方法，并在FGIA领域取得了显著的突破。基于深度学习的FGIA大大推进了这些方法在[5]、[7]、[8]、[9]多种应用场景中的实际部署。

近年来，计算机视觉和机器学习研究领域都对FGIA产生了浓厚的兴趣。粗略统计表明，在每一个高级视觉和机器学习会议上，平均每年有10篇关于基于FGIA的深度学习的会议论文发表。还有一些特别的问题要解决FGIA[15]，[16]，[17]，[18]，[19]。此外，FGIA的一些有影响力的比赛经常在网络平台上举行。代表包括自然主义者竞赛(大量自然物种)[20]，自然保护协会渔业监测(鱼类物种分类)[21]，座头鲸识别(鲸鱼身份分类)[22]等。每次比赛都吸引了来自世界各地的数百名参与者，有些甚至超过了2000个团队。在国际顶级会议上，如[23]，[24]，也有针对FGIA主题的专门教程和研讨会。

基于深度学习的细粒度图像分析(FGIA)研究概况及未来发展方向。

尽管研究兴趣如此突出，但关于深度学习的FGIA的研究仍然是碎片化的。因此，本次调研的目的是 (i)全面介绍FGIA的最新成果，特别是深度学习技术带来的成果，更重要的是(ii)通过整合FGIA不同方面的研究，提出一个统一的研究前沿。我们的方法与现有的综述[25]，[26]有很大的不同，这些综述只关注细粒度的识别/分类问题，我们认为这只是FGIA更大研究的一部分。特别是，我们试图重新定义和拓宽细粒度图像分析领域，突出细粒度识别和细粒度图像检索任务之间的协同作用，这也是FGIA的一个组成部分。我们的综述以独特的基于深度学习的视角，以广泛、系统、全面的方式回顾了FGIA的最新进展。我们的主要贡献总结如下:

我们拓宽了FGIA的领域，提供了一个扎实的景观，促进了细粒度图像分析中相关问题之间的协同作用。

我们提供了基于深度学习的FGIA技术的全面回顾，包括普遍接受的问题定义、基准数据集、FGIA方法的不同家族，以及涉及特定领域的FGIA应用。特别是，我们对这些方法进行了分类组织(参见图2)，以便为读者提供该领域的最新技术的快速快照。

我们在几个公开可用的数据集上巩固现有方法的性能，并为未来的研究提供讨论和见解。

最后，我们讨论现有的挑战和未决的问题，并确定新的趋势和未来的方向，为社区解决这些问题提供一个可行的路线图。

最后，为了持续跟踪这一快速发展领域的最新发展，我们提供了一个附带的网页，根据我们基于问题的分类法: http://www.weixiushen.com/project/Awesome FGIA/Awesome FGIA.html，对解决FGIA问题的论文进行了分类。