【新书】神经进化：释放 AI 智能体设计的创造力, 484页pdf

神经演化（Neuroevolution），即通过进化计算优化神经网络，自 1990 年代以来一直是机器学习领域中不断发展的一个重要分支。其主要关注点在于：当训练目标未知、且良好性能依赖于跨时间的多步决策时（如机器人控制、游戏博弈与决策制定），如何为智能体进化出高性能的神经网络。近年来，神经演化的研究范围进一步扩展到深度学习架构优化、生物智能演化机制的理解，以及面向硬件实现的神经网络优化。 本书将向学生介绍神经演化的基础知识，随后深入探讨多项使神经演化更高效、更通用的高级主题，回顾典型应用领域，并提出未来研究问题。书中还通过一个基于 Python 的软件平台提供动手实践，包括动画、交互式演示、练习与项目环境。我们希望你能从中获益！

为了说明神经演化的本质，考虑下面四个挑战（图 1.1）： 想象你想在一款你扮演搜救人员的视频游戏中创建一个角色。这个角色是你的助手：侦察有用信息、协助搬动大型物体等。你希望它能够预判你的意图，并以可信、类人（human-like）的方式行动：像你一样，它的资源有限，但通常能很好地利用这些资源。你要如何设计这样一个角色？它的许多特征很难精确定义：你只能在看到时才知道它是否合理。 再想象一场新的大流行正在出现。它似乎特别影响脆弱人群，似乎在拥挤环境中通过空气传播，并具有较长的潜伏期。这种疾病已在多个国家导致住院，一些国家也采取了应对措施，例如关闭学校、限制航空旅行、开展接触者追踪。最终，病原体可能会被测序，疫苗和药物也可能被开发出来，但我们必须立即应对疾病的传播。我们能否从世界各地的经验中学习，为不同国家、甚至城市与社区的当前状况提出定制化的干预建议？ 你是一名零售企业的分析师，试图预测不同商品在不同门店的销量，以最小化库存与浪费。你拥有包含产品描述、季节性变化与经济指标等的历史数据，理论上可以用深度学习进行预测。然而数据量还不够：如此复杂的网络很可能仅仅记住这些小规模数据，而不能在未来很好地泛化。然而，关于其他类型销量、以及其他经济与零售指标的数据却非常丰富。你能否设计一种深度学习架构，利用所有这些其他数据集来提升对你目标数据的预测能力？ 你是一名生物学家，研究某一物种的行为，例如鬣狗。你发现它们在某些情况下能够执行极其复杂的协作动作，从而战胜一群狮子。虽然鬣狗在许多社会性任务上都表现不错，但这一行为显得超出了它们通常的能力范围。我们是否正在观察进化本身，即一种可能最终导致社会智能飞跃的适应？这个假设无法在野外或实验室中直接验证。我们是否可以构建计算模拟来为此提供证据？ 以上四个例子均展示了神经演化在发挥作用。神经演化，即通过进化计算优化神经网络设计，是人工智能工具箱中一种与众不同的方法。其理念并非优化单一数量化指标，而是寻找能够同时实现多个目标的解决方案，其中一些目标甚至可能定义模糊；不是用它来取代人类的创造力和决策权，而是将其作为一种强大的发现工具来扩展人类能力；不是通过编码和应用已有有效方案来解决问题，而是去发现具有创造性、有效且往往令人惊讶、难以找到的解决方案；不是创建静态、僵硬的系统，而是发展能够在不可预测、不断变化的世界中泛化并适应的行为。因此，通过神经演化，可以开发基于人工智能的决策过程，从而改善工程、科学乃至整个社会。 本书旨在为读者提供神经演化在各种应用中所需的概念性与实践性知识，并推动其进一步发展。本章将从神经演化机制的高层概述开始，将其与其他类型的创造性 AI 进行比较，识别神经演化最有可能产生重大影响的机会。之后本书主体将依次回顾进化计算基础、利用编码与多样性的技术、构建智能体的方法、增强与利用其他学习系统（如深度学习、类脑系统、强化学习与生成式 AI），以及如何进行生物建模并从中获得洞见。

本书对这些主题进行了全面介绍。其目标不仅是让读者熟悉各种神经演化技术，还要提供能够利用这些技术、进一步发展它们并构建应用系统所需的工具。书中回顾了主要算法，并解释了它们的起源与动机；给出了具体的应用示例，并在文献中提供相关参考；指出了若干开放研究领域，并提出进一步研究的建议。此外，本书还通过多个深入的案例研究展示如何利用这些概念解决现实世界中更复杂的挑战与问题。 虽然本书假设读者具备神经网络的基本知识，但对进化计算并不要求较多背景。作为配套资源，书籍网站还提供了若干演示、练习以及一个通用的软件平台。其理念是为读者提供不仅是理论知识，还包括可直接应用和扩展的实用工具。 神经演化这一领域兴起于 20 世纪 80 年代末，其早期成果来自 Belew、McInerney 和 Schraudolph（1992），Harp、Samad 和 A. Guha（1989），Kitano（1990），G. F. Miller、P. Todd 和 Hedge（1989），Mjolsness、Sharp 和 Alpert（1989），Montana 和 L. Davis（1989），Mühlenbein 和 Kindermann（1989），Schaffer、Caruana 和 Eshelman（1990），以及 Whitley 和 T. Hanson（1989）。其发展历程大约每十年都会以综述形式记录下来（Floreano、Dürr 和 Mattiussi，2008；Hougen 和 Shah，2019；Schaffer、Whitley 和 Eshelman，1992；Stanley、Clune、Lehman 等，2019；Yao，1999）。本书并不试图涵盖该领域的全部内容，而是希望以一种“导览式”的方式提供一个逻辑清晰的发展脉络。 因此，全书内容被组织为五个主要部分。 第一部分 通过一系列逐渐增加复杂度的例子，向读者介绍进化计算的基本原理。随后以简单示例引入神经演化的具体情形。首批练习用于帮助读者将这些概念快速具体化和应用（软件平台在下一节介绍）。 第二部分 聚焦神经演化中的两个核心设计要点：网络编码（直接编码与间接编码）以及通过多样性提升搜索效率。通过示例澄清不同编码方法之间的重要区别，比较遗传多样性与行为多样性，引入新颖性搜索（novelty search）与质量-多样性搜索（quality-diversity search），并介绍如何利用多样性进行集成学习（ensembling）。这些方法均是神经演化工具箱中的基础手段，但以往很少被清晰地区分。 第三部分 聚焦智能体：即如何从低层控制演化出有效行为，再提升到高层策略，最终支持决策系统。随后将视角从个体智能体扩展到协作与竞争的群体系统。接下来回顾交互式演化（interactive evolution），其作为结合机器探索与人类洞察的方法。最后，讨论开放式发现（open-ended discovery）的机会与挑战，其灵感来自生物进化，并回顾现有人工系统中开放式创新的实例。 第四部分 将神经演化扩展到与其他学习方法的结合。首先回顾深度学习架构设计方法，讨论其中存在的挑战与未来机会。随后将元学习（meta-learning）扩展到神经网络设计的其他方面，包括损失函数、激活函数、数据使用方式、学习方法及其协同效应。并进一步探讨神经形态系统、强化学习与生成式 AI 的协同组合，指出在这些场景中均可利用进化来优化整体设定，从而提升其他学习方法的效果。 第五部分 探讨神经演化如何为生物进化研究提供洞见，从理解神经结构与模块化，到发育过程、身体与大脑的协同进化，再到生物行为、突破性能力以及语言演化。全文中还识别了许多对未来“生物启发工程系统（bio-inspired engineering）”的潜在启示。结语（Epilogue）指出神经演化在构建具有人工通用智能（AGI）的智能体中可能扮演的角色。 总之，神经演化已成为近期 AI 革命中的第三个新兴组成部分。它使得构建能够生成行为、策略与决策能力的智能体成为可能。而这些智能体在现实世界中拥有广泛应用，可构建更高效、更可靠、成本更低的系统，进而改善人类生活。与此同时，该领域也仍然蕴含大量未来研究机会。