图像描述生成研究进展

摘要： 图像描述生成结合了计算机视觉和自然语言处理2个研究领域，不仅要求完备的图像语义理解，还要求复杂的自然语言表达，是进一步研究符合人类感知的视觉智能的关键任务．对图像描述生成的研究进展做了回顾．首先，归纳分析了当前基于深度学习的图像描述生成方法涉及的5个关键技术，包括整体架构、学习策略、特征映射、语言模型和注意机制．然后，按照发展进程将现有的图像描述生成方法分为4大类，即基于模板的方法、基于检索的方法、基于编码器-解码器架构的方法和基于复合架构的方法，并阐述了各类方法的基本概念、代表性方法和研究现状，重点讨论了基于编码器-解码器架构的各种方法及其创新思路，如多模态空间、视觉空间、语义空间、注意机制、模型优化等．接着，从实验的角度给出图像描述生成的常用数据集和评估措施，并在2个基准数据集上比较了一些典型方法的性能．最后，以提升图像描述的准确性、完整性、新颖性、多样性为依据，展示了图像描述生成的未来发展趋势.

随着互联网与信息技术的发展，多媒体数据呈现 爆炸性增长的趋势，从各种信息源（如网络、新闻、 相机等）上可获得的图像数据越来越多．由于图像数 据具有海量特性和非结构化特性，如何快速有效的组 织、存储和检索图像，成为重要的研究课题，而完备 的图像语义理解则是其中的关键问题[1]．尽管从信息 源上获取的大多数图像并没有对应的语义描述，但人 类仍然能够在很大程度上理解它们．也就是说，人类 很容易就能完成涉及复杂视觉识别以及场景理解的 各种任务、涉及自然语言交流的各种任务以及 2 种模 态之间的转换任务．例如，只需快速浏览图像就足以 让人指出并描述关于视觉场景的大量细节，而这对于 机器来说目前仍然是难以完成的任务．为了实现图像 数据的结构化和半结构化，从语义上更完备地理解图 像数据，从而进一步研究更符合人类感知的视觉智 能，迫切需要机器能够为给定图像自动地生成自然语 言描述．

计算机视觉研究如何理解图像和视频，而自然语 言处理研究如何分析和生成文本．尽管这 2 个领域的 研究都采用类似的人工智能和机器学习方法，但在很 长一段时间里它们都是各自发展而很少交叉．近几 年，结合视觉和语言的跨模态问题受到了广泛关 注．事实上，许多日常生活中的任务都具有这种跨模 态的特性．例如，看报纸时解释图片的上下文信息， 听报告时为理解讲话而搭配图表，网页上提供大量结 合视觉信息和自然语言的数据（带标签的照片、新闻 里的图片视频、具有多模态性质的社交媒体）等．为 完成结合视觉和语言的任务并充分利用多模态数据， 计算机视觉和自然语言处理 2 个领域的联系越来越 紧密． 在这个新的视觉和语言交叉的研究领域中，图像 描述生成是个重要的任务，该任务包括获取图像信 息、分析其视觉内容、生成文本描述以说明图像中的 显著物体和行为等步骤[2-5]．图 1 给出了几个根据图 像内容生成描述语句的实例．