结合进化算法的深度强化学习方法研究综述

深度强化学习是目前机器学习领域中重要的研究分支之一，它可以通过直接与环境进行交互实现端到端的学习，对高维度和大规模的问题有着很好的解决能力．虽然深度强化学习已经取得了瞩目的成果，但其仍面临着对环境探索能力不足、鲁棒性差、容易受到由欺骗性奖励导致的欺骗性梯度影响等问题．进化算法普遍具有较好的 全局搜索能力、良好的鲁棒性和并行性等优点，因此将进化算法与深度强化学习结合用于弥补深度强化学习不足 的方法成为了当前研究的热点．该文主要关注进化算法在无模型的深度强化学习方法中的应用，首先简单介绍了 进化算法和强化学习基本方法，之后详细阐述了两类结合进化算法的强化学习方法，分别是进化算法引导策略搜 索的强化学习和结合进化算法的深度强化学习，同时对这些方法进行了对比与分析，最后对该领域的研究重点和 发展趋势进行了探究． 长期以来，强化学习都是机器学习方法中不可 或缺的一部分，在国际上也一直是机器学习领域中 炙手可热的研究分支．在强化学习中，智能体首先根 据环境状态进行决策从而产生动作，之后通过产生 的动作与环境进行交互获得强化信号，调整产生决 策的函数映射，使得智能体能够选择获得环境最大 奖励的决策方案．智能体经过长期与环境的交互，不 断向累积回报最大的方向优化策略，最终使累积回 报尽可能地最大化．2013年，DeepMind团队的 Mnih 等人首先将 传统强化学习中的Q-Learning算法［１］与深度神经网 络相结合，并提出了深度Ｑ 网络（Deep Q-Network， ＤＱＮ）算法［２３］，使用 ＤＱＮ 算法训练的智能体在Atari游戏中取得了超过人类得分的惊人表现．这一成 果开拓了深度强化学习这一新的方向，并成为了当今人工智能领 域新的研究热点．深度强化学习是一种端到端的学习方法，它不需要标记的数据作为输入，而是通过与环境进行交互获取原始输入信息，从而学习动作策略，通过不断的试错形成具有强大学习能力的智能体［４］．2016年，DeepMind团队使用深度强化学习训练的AlphaGo智能体［５］击败了人类最顶尖的围棋 选手，是机器学习领域的重大标志性事件，使得深度强化学习成为研究者们关注的焦点．目前深度强化 学习在机器博弈［５７］、机器人控制［８］、自然语言处理［９］、最优控制［１０］和计算机视觉［１］等领域中取得了广泛的应用，被认为是通向通用人工智能的重要方 法之一［１２］．