基于神经网络的机器人学习与控制：回顾与展望

机器人因其高效的感知、决策和执行能力，在人工智能、信息技术和智能制造等领域中具有巨大的应用价值。目前，机器人学习与控制已成为机器人研究领域的重要前沿技术之一。各种基于神经网络的智能算法被设计，从而为机器人系统提供同步学习与控制的规划框架。首先从神经动力学（ND）算法、前馈神经网络（FNNs）、递归神经网络（RNNs）和强化学习（RL）四个方面介绍了基于神经网络的机器人学习与控制的研究现状，回顾了近30年来面向机器人学习与控制的智能算法和相关应用技术。最后展望了该领域存在的问题和发展趋势，以期促进机器人学习与控制理论的推广及应用场景的拓展。

它具有感知能力、决策能力和执行能力，能够协助 甚至替代人类完成各种复杂、繁重和危险的任务。 任何涉及重复性工作的工业系统都可以通过机器人 实现自动化作业，进而在降低人力成本的同时显著 地提高生产效率和产品质量［１］ 。这也预示着现代 智能工厂能够根据需求扩大或缩小生产规模。典型 的机器人设备包括冗余度机器人［２］ 、柔性机器人［３］ 和移动机器人［４］等。近年来，机器人在军事战争、 太空探索、医疗手术和其他重要行业中得到了广泛 的应用［５－７］ 。 在第四次工业革命的推动下，机器人系统，特 别是机械臂，受到世界各国的广泛关注［８］ 。机器人 技术与多学科技术相结合，逐步推动了人类社会生 产和生活方式的转变。以机器人视觉和触觉为代表 的机器人感知技术加速了机器人学习与控制概念的 产生和发展［９］ 。因此，机器人系统能够克服源于自 身或环境的不确定性因素，从而提高任务执行的效 率和稳定性。具体而言，机器人需要解决由磨损、 老化、故障等因素引起的结构不确定性问题和由环 境、任务等因素决定的决策问题［１０］ 。因此，亟需开 发其自我学习和实时校准功能。近年来，相关的学 习技术提高了具有不确定性的机器人系统的容错能 力和决策能力［１０－１２］ 。另一方面，在任务执行过程 中，机器人期望保持稳定且高效的工作性能。因 此，它需要基于特定的控制方案和高效的网络算法 以实时获得合适的控制信号。这要求机器人系统具 备优越的容错能力和可靠的控制精度，并在此基础 上以人工智能的模式实现复杂多变的任务［１３－１４］ 。 近年来，脑机接口技术［１５］ 、手术机器人［１６］ 、康复 机器人［１７－１８］ 、多机器人集群［１９］ 等新兴概念的发展 对机器人控制技术与应用提出了实时性、精确性、 稳定性、容错性、鲁棒性等多方面实际要求。随后 出现了一系列先进的控制技术，如远中心控制［２０］ 、 视觉伺服控制［２１］ 、模型预测控制［２２］ 、阻抗控制［２３］ 。 因此，探索机器人学习与运动控制相结合的新模式 是近年来国内外机器人研究的重点。 基于神经网络的机器人学习与控制技术已成为 前沿科技之一，也是智能制造、智慧医疗和无人驾 驶领域中的重要瓶颈技术之一。近 ３０年来，相关 的研究成果显著地提高了机器人系统的功能性、精 确性和智能性［２４］ 。机器人学习技术利用数据驱动 方法分析、预测和估计带有不确定性的模型或策 略［２５］ ；机器人控制技术结合学习信息与控制算法 实现功能性运动规划［２６］ 。在多源传感器的协助下， 机器人系统可以收集、处理和开发数据，进而集成 数据库，甚至搭建数据云［２７］ 。随后，基于神经网络 的机器人算法根据测量数据实现优化的学习与控制 过程。 神经网络具备强大的拟合能力和并行处理能 力，可以被理解为机器人的“大脑” 。面向机器人学 习与控制的主流神经网络方法包括神经动力学 （ｎｅｕｒａｌｄｙｎａｍｉｃｓ，ＮＤ）方法［２８－３２］ 、前馈神经网络 （ｆｅｅｄｆｏｒｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋ，ＦＮＮ）方法［３３－３４］ 、递归 神经网络（ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ，ＲＮＮ）方法［３５－３６］ 和强化学习（ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ，ＲＬ）方法［１１，３７］ 。 ＮＤ方法通过构建常微分方程（ｏｒｄｉｎａｒｙｄｉｆｆｅｒｅｎｔｉａｌ ｅｑｕａｔｉｏｎ，ＯＤＥ）形式或对应的离散变体系统以求解 机器人学习与控制问题，并实现实时参数辨识［２８－３０］ 和机器人控制［３１－３２］ 。ＦＮＮ方法属于一种机器学习 算法，能够通过更新权值逼近机器人系统的特定函 数，从而开发相应的数据驱动技术［３３－３４］ 。与 ＦＮＮ 方法不同，ＲＮＮ方法的网络节点之间可以构建循环 连接，允许一些节点的输出影响其后续输入，在机 器人学习领域有显著的应用价值［３５－３６］ 。值得注意 的是，ＮＤ方法和 ＲＮＮ方法在结构上存在交集。当 ＯＤＥ形式的计算网络的输入神经节点数大于或等 于 ２时，该系统即属于 ＲＮＮ方法，也可被称为 ＮＤ 方法［３８］ 。为了便于阐述，本文分别对 ＮＤ方法与 ＲＮＮ方法进行单独介绍。ＲＬ方法能够解决机器人 与环境交互过程中的决策问题，并通过试错的方式 实现机器人特定技能的学习［１１，３７］ 。以上 ４种机器 人学习算法均属于人工智能算法的范畴［３９］ 。其主 要任务是开发智能信息处理应用，从而设计与人类 智能相似的机器人系统。在真实场景中，机器人的 交互过程产生的学习与控制问题通常需要多种技术 协同解决［４０］ 。这要求机器人系统通过传感器获取 大量的测量数据，进而驱动学习和控制过程。因此， 机器人学习与控制系统的发展必然伴随着传感器技 术、神经网络方法、数学理论等重要技术的进步［４１］ 。 如图 １所示，本文回顾了用于解决机器人学习 与控制问题的神经网络方法以及相关应用，其中， 机器人学习包括机器人模型学习和机器人策略学习 两个方面。相关的神经网络方法被归纳为 ＮＤ方 法、ＦＮＮ方法、ＲＮＮ方法和 ＲＬ方法.