时尚是我们向世界展示自己的方式,已经成为世界上最大的产业之一。时尚主要通过视觉来传达,因此近年来受到了计算机视觉研究者的广泛关注。鉴于智能时尚的快速发展,本文对200多部主要时尚相关工作进行了全面的综述,涵盖了实现智能时尚的四个主要方面: (1)时尚检测包括地标检测、时尚解析、时尚条目检索等。(2)时尚分析包含属性识别、风格学习和流行度预测,(3)时尚合成包括风格转换、姿势变换、物理模拟等,(4)时尚推荐包括时尚搭配、服装搭配、发型建议。针对每个任务,总结了基准数据集和评估协议。展望了未来的研究方向。
导论
时尚是我们向世界展示自己的方式。我们的着装和化妆方式定义了我们独特的风格,并将我们与他人区分开来。时尚在现代社会已经成为了我这个人不可或缺的一部分。不出所料,仅全球服装市场就已超过3万亿美元,占世界国内生产总值的近2%。具体来说,到2020年,时尚领域的收入将超过7180亿美元,预计每年增长8.4%。
随着计算机视觉与人工智能(AI)的革命正在进行,人工智能开始冲击宽宏大量的时尚领域,从电子零售到个性化设计师,再到服装设计流程,各种应用创新正在重塑我们的时尚生活。在本文中,我们将计算机视觉驱动的时尚技术称为智能时尚。从技术上讲,智能时尚是一项具有挑战性的任务,因为与一般对象不同,时尚项目在风格和设计上存在显著差异,最重要的是,可计算的低级特性和它们所编码的高级语义概念之间存在着长期存在的语义鸿沟。
之前很少有工作[120,165]与时尚综述相关。2014年,Liu等[120]提出了一项以人脸美容和服装分析为重点的智能时尚分析的初步文献调查,介绍了2006-2013年发表的代表著作。然而,由于计算机视觉的快速发展,智能时尚的领域远远不止这两个领域,如风格迁移、物理模仿、时尚预测。有很多相关的工作需要更新。2018年,Song and Mei[165]介绍了多媒体时尚研究的进展,将时尚任务分为三个方面: 低级像素计算、中级时尚理解和高级时尚分析。低像素计算的目的是在图像上生成像素级标签,如人体分割、地标检测和人体姿态估计。中级时尚理解旨在识别时尚形象,如时尚物品和时尚风格。高级时尚分析包括时尚推荐、时尚综合、时尚趋势预测。然而,目前还缺乏一个系统、全面的综述来描绘智能时尚的全貌,从而总结和分类最先进的方法,讨论数据集和评价指标,并为未来的研究方向提供见解。
目前关于智能时尚的研究课题不仅包括检测以图像形式呈现的时尚物品,还包括对其进行分析,综合创意新产品,最后给出个性化的建议。因此,在本文中,我们将相应的研究主题组织起来,分类如图1所示,包括时尚图像检测、分析、合成和推荐。此外,我们还概述了智能时尚在时尚领域的主要应用,展示了智能时尚在时尚行业的力量。总的来说,我们工作的贡献可以总结如下:
我们提供时尚领域的最新研究进展的全面综述,并将时尚研究主题分为四个主要类别:检测、分析、合成和推荐。
对于智能时尚研究中的每个类别,我们提供了一个深入和有组织的回顾,其中最重要的方法及其贡献。同时, 我们总结基准数据集以及相应的门户网站的链接。
我们为不同的问题收集评估指标,并对不同的方法进行性能比较。
我们列出了可能的未来方向,这将有助于即将到来的进步,并激励研究社区。
本综述的组织部分如下。第二节回顾了时尚检测任务,包括地标检测、时尚解析和条目检索。第3节说明了包含属性识别、风格学习和流行度预测的时装分析工作。第4节提供了时装合成任务的概述,包括风格转换、人体姿势转换和物理纹理模拟。第五节介绍时尚推荐作品,包括时尚搭配、服装搭配、发型建议。此外,第6节展示了选定的应用和未来的工作。最后但并非最不重要的是,结束语在第7节给出。