人工智能 (AI) 应用为我们的生活带来了敏捷性和现代性,而增强学习技术正处于这项技术的前沿。在策略游戏、创意组合和自主运动方面,它可以超越人类竞争者。更重要的是,它刚开始改变我们的文明。 本书介绍了AI的基础知识,详述了机器学习技术,并探索了增强学习的各个方面,以教育性和插图的方式介绍最新概念。它面向那些希望成为技术进步一部分的学生,以及参与开发创新应用的教授,帮助他们应对学术和工业上的挑战。
理解增强学习的基础知识将使你能够:
这本书涵盖了人工智能的基本概念,穿越了机器学习并深入探讨了RL,既有理论又有实践。在各章节中,有用虚线标出的灰色信息块,这些信息块提供了工具和补充信息的链接,作为技巧并扩展了本书的资源。本书的组织始终从总览转向更为具体的视角。每一章也是如此。因此,学生可以按顺序阅读,或根据需要及时参考各章,如下:
第1章介绍人工智能的研究领域,以及区分各种机器学习方法和它们解决的问题类型。通过有趣的例子生动地介绍了增强学习的含义,并解释了其框架。然后,探讨了渗透多个科学领域的相关历史里程碑,这些里程碑对这一研究方向的发展做出了贡献。
第2章涵盖了理解涉及增强学习的整个系统所需的基本知识。讨论了如代理、环境、动作、奖励、策略和价值函数等概念。提供了例子和类比来帮助解释这些概念,从Markov链的问题结构开始,经过Watkins和Dayan的提议,展开为Bellman方程。最后,介绍了在这一创新研究领域中取得成功的算法的类别和特点。
第3章描述了增强学习中最常用的算法之一——Q-Learning算法的逐步操作。呈现了算法的每个组件的含义及其通过伪代码的演示。然后,通过代理在环境中互动的视觉例子详细解释了算法的工作原理,从Q-Table的初始化到代理根据与环境的经验进行决策,再到构建要遵循的策略。
第4章涉及用于开发增强学习解决方案的实用工具。讨论了一些主要的库和框架,可用于实现RL算法,如TensorFlow、Keras和OpenAI Gym。还讨论了一些用于进行RL实验的有用数据源。
第5章提出了使用Python开发自主出租车的AI的实际案例。讨论了环境的细节,并举例说明了代理在不使用AI的情况下的行动。作为对比,接下来简化地展示了如何实现一个RL算法。代码带有注释,并详细解释,说明在这类问题中使用RL的差异和优势。该系统可供进一步测试和实施。
第6章展示了增强学习如何影响各个知识领域的最新应用。介绍了RL在机器人技术、游戏、教育和量子力学等领域的应用实例。还讨论了RL应用在不同领域的主要优势和挑战,以及在这些领域未来使用RL的展望。