什么是进化深度学习？东北大学等最新《进化深度学习:原理、算法、应用》综述，34页pdf阐述EDL概念以及技术体系

2022 年 9 月 1 日 专知

东北大学等最新《进化深度学习:原理、算法、应用》综述，34页pdf阐述EDL概念以及技术体系。

近年来，深度学习(deep learning, DL)在业界和学术界都有了迅速的发展。然而，寻找DL模型的最优超参数往往需要很高的计算成本和人类的专业知识。为了缓解上述问题，进化计算(EC)作为一种强大的启发式搜索方法，在DL模型的自动化设计中显示出了显著的优点，即进化深度学习(EDL)。本文旨在从自动化机器学习(AutoML)的角度分析EDL。具体地说，我们首先从机器学习和EC两个方面阐述了EDL，并将EDL视为一个优化问题。在此基础上，我们系统地介绍了特征工程、模型生成、模型部署和新的分类(即，什么和如何进化/优化)的EDL方法，并重点讨论了EC处理优化问题时的解决方案表示和搜索范式。最后，提出了该技术的关键应用、有待解决的问题和未来的研究方向。本调研回顾了EDL的最新发展，并为EDL的发展提供了有见地的指导方针。

https://www.zhuanzhi.ai/paper/63eefaab90ccabdeb3609e320198c072

深度学习(Deep learning, DL)作为一种很有前景的技术，已被广泛应用于各种具有挑战性的任务，如图像分析[102]和模式识别[104]。然而，DL的实践者努力手动设计深度模型，并通过试错找到合适的配置。如图1所示，在特征工程(feature engineering, FE)[225]、模型生成[257]和模型部署[29,31]等不同阶段，将领域知识输入DL。然而，专家知识的难以获取使得深度学习的发展面临着巨大的挑战。相比之下，深度神经网络(DNNs)的自动设计在最近几十年趋于流行[71,257]。主要原因在于自动机器学习(AutoML)在FE[225]、参数优化(PO)[242]、超参数优化(HPO)[185]、神经结构搜索(NAS)[71,230,257]和模型压缩(MC)[78]中的灵活性和计算效率。因此，无需人工干预的AutoML技术引起了人们的极大关注，并取得了很大的进展。

进化计算(Evolutionary computation, EC)因其灵活性和自动进化机制而被广泛应用于自动数字学习中。在电子商务中，环境选择驱动种群个体向最优解或前沿进化[88]。目前，有许多由EC驱动的自动深度学习方法，被称为进化深度学习(EDL)[52, 196, 246, 247]。例如，在特征工程[225]、模型生成[230,257]和模型部署[31]等方面开展了大量EC研究，如图1所示。因此，电子商务与数字图书馆的整合已经成为学术界和产业界的研究热点。此外，在图2中，Web of Science中涉及EC & DL的文章数和被引用数在2012年前后逐渐增加，而在随后的十年中急剧增加。因此，EDL领域的研究越来越多。

为了填补这一空白，我们打算对EDL进行详细的全面回顾。这项工作的主要贡献如下。

本文从DL和EC的角度对EDL的现有工作进行了综述，以促进ML和EC社区读者的理解，并从EC的角度将EDL制定为一个优化问题。
该调研从特征工程、模型生成和新分类法的模型部署方面描述和讨论了EDL，其中重点讨论了解决方案表示和搜索范式。据我们所知，很少有调研研究进化模型的部署。
在全面回顾EDL方法的基础上，讨论了EDL的一些应用、有待解决的问题和发展趋势，对EDL的发展具有指导意义。

本文的其余部分组织如下。第2节介绍了EDL的概述。在第3节中，介绍了EC驱动的特征工程。EC驱动的模型生成将在第4节中讨论。第5节回顾EC驱动的模型压缩。然后，在第6节讨论了EDL的相关应用、有待解决的问题和发展趋势。最后，第七部分对本文进行了总结。

进化深度学习 Evolutionary Deep Learning

与传统的深度学习严重依赖专家或领域知识来构建深度模型不同，深度学习是通过进化过程来自动设计深度模型[164,191,231,246]。

从深度学习的角度来看:传统的深度学习需要大量的专家知识来发明和分析特定数据集或任务的学习工具。相反，EDL可以被视为一种对人类友好的学习工具，它可以在给定的数据集或任务上自动找到合适的深度模型[230]。换句话说，EDL专注于学习工具的易用性。
从EC的角度来看:将模型的配置表示为个体，将性能作为需要优化的目标。EC在进化机制驱动的优化过程中起着重要作用。也就是说，EDL可以看作是一个寻找高性能的深度模型的最优配置的进化优化过程。

从上面的分析来看，EDL的目的不仅是通过自动构建的方法(从深度学习的角度)增加深度模型对学习任务的适应性，而且试图在设计的目标或约束下(从EC的角度)实现最优模型。

在本节中，根据“要进化/优化什么”和“如何进化/优化”，提出了EDL方法的新分类，如图4所示。

“要进化/优化什么”: 我们可能关心“EDL可以做什么”或“EDL可以解决什么类型的问题”。在特征工程中，有三个关键问题需要解决，分别是特征选择、特征构建和特征提取[230]。在模型生成中，参数优化、架构优化和联合优化成为关键问题[257]，而模型部署则涉及到模型剪枝等压缩技术问题。

“如何发展/优化”: 这个问题的答案是为EC设计合适的解决方案表示和搜索范式，以及为NAS设计加速策略。该表示方案设计用于个体编码、实现最优配置的搜索范式、减少时间或资源消耗的加速策略。根据以上分类，我们将在第3节、第4节和第5节分别详细介绍特征工程、模型生成和模型部署中的EDL。

结论

随着机器学习和进化计算的发展，在EC优化框架下，提出了许多EDL方法来自动优化深度模型的参数或结构。与人工设计的方法相比，EDL方法在鲁棒性和搜索能力方面具有竞争力。因此，EDL已经成为一个热门的研究课题。

在这次调研中，我们首先从DL和EC的角度介绍EDL，以方便来自ML和EC社区的读者理解。然后，我们将EDL定义为一个复杂的优化问题，并从特征工程、模型生成到模型部署等方面全面介绍了解决EDL优化问题的EC技术，以形成一个新的分类(即，在EDL中什么、哪里和如何进化/优化)。详细讨论了EDL流水线不同阶段的解表示和搜索范式。然后讨论了基于欧共体的研究方法与非欧共体研究方法的优缺点。随后，对各种应用程序进行了总结，以展示EDL在处理现实世界问题方面的潜在能力。

尽管EDL方法在AutoML中取得了很大的进展，但仍有许多具有挑战性的问题需要解决。例如，有效的加速策略对于减少昂贵的优化过程至关重要。另一个问题是处理大规模数据集，以及如何在不同的EDL方法或非ec方法之间进行公平的比较。需要更多的研究从理论上分析或解释EDL的搜索能力。此外，在提高EDL在两种基准测试(例如，大规模和小规模数据)和真实应用程序上的性能方面还需要做很多工作。最后，端到端EDL的开发具有一定的挑战性，值得我们付出更多的努力。

专知便捷查看