「机器人感知与控制关键技术」最新2023研究综述

智能机器人在服务国家重大需求, 引领国民经济发展和保障国防安全中起到重要作用, 被誉为 “制造业皇冠顶端 的明珠”. 随着新一轮工业革命的到来, 世界主要工业国家都开始加快机器人技术的战略部署. 而智能机器人作为智能制造 的重要载体, 在深入实施制造强国战略, 推动制造业的高端化、智能化、绿色化过程中将发挥重要作用. **本文从智能机器人 的感知与控制等关键技术的视角出发, 重点阐述了机器人的三维环境感知、点云配准、位姿估计、任务规划、多机协同、柔顺 控制、视觉伺服等共性关键技术的国内外发展现状. 然后, 以复杂曲面机器人三维测量、复杂部件机器人打磨、机器人力控 智装配等机器人智能制造系统为例, 阐述了机器人的智能制造的应用关键技术, 并介绍了工程机械智能化无人工厂、无菌化 机器人制药生产线等典型案例. **最后探讨了智能制造机器人的发展趋势和所面临的挑战。

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220995

1. 引言

近年来, 智能机器人作为国民经济与社会发展 的基础性与战略性产品, 在服务国家航空航天、轨 道交通、海洋舰船、工程机械制造等领域重大需求, 引领国民经济发展和保障国防安全中起到重要作 用, 被誉为 “制造业皇冠顶端的明珠”. 随着新一轮 工业革命的到来以及人工智能、云计算、物联网等 技术快速发展, 机器人技术受到美国、欧盟等世界 发达国家的高度重视, 同时世界主要工业国家都开 始加快机器人部署的步伐. 2013 年, 德国率先提出 “工业 4.0”, 旨在推动工业现代化和数字化转型, 在 新一轮工业革命中占领先机; 2017 年, 美国推出 “国家机器人计划 2.0”, 强调机器人可扩展性, 通过 多机器人协作实现复杂环境下分布式的感知、规划、 行动和学习, 提升机器人的作业范围. 2020 年美国 发布的 “机器人发展路线图”以及 2021 年发布的 “无尽前沿法案”, 均将机器人与先进制造技术列为 发展重点; 而欧盟早在其 “火花计划”、 “地平线 2020”等计划, 以及日本发布的 “机器人新战略”, 都着重强调了机器人的作业能力; 此外, 我国的 “智能制造 2025”等, 也明确了机器人在推动制造业 智能化转型升级中将发挥重要作用[1−3] . 机器人感知与控制是实现机器人智能化作业的 关键核心技术. 机器人需要感知周围环境和识别作 业对象, 从二维到多维信息的感知和融合, 实现快 速、精准的环境感知和目标识别, 充当机器人系统 “眼睛”. 感知环境之后, 结合智能规划决策和自适 应控制等方法, 像 “大脑”一样为机器人系统提供最 恰当的控制命令, 以使得机器人做出相应的动作和 反应. 近年来, 随着深度学习, 大数据, 智能控制等 技术的快速发展, 机器人的智能感知与自主作业的 水平也在迅速提升. 如 DeepMind 开发的 AlphaGo, 可以让机器人在不断的游戏中自我学习与提高, 从 而实现更加智能的决策与控制; 特斯拉的人形机器 人, 其搭载了激光雷达、摄像头、超声波传感器等, 用于感知周围环境和避开障碍物, 还配备了一个自 主学习系统, 可以不断学习和改进自己的行为和决 策, 从而更好地适应不同的任务和场景; 波士顿动 力的 Spot 机器狗, 可以与人类进行互动, 如识别和 追踪人类, 并在人类的指示下执行指定任务如检查 和搬运物体. 当前, 云计算、物联网和大数据等新兴信息通 信技术快速发展, 为机器人的高端制造应用提供了 新的思路和发展契机, 数字化、网络化、智能化融合 创新引领未来工业发展已取得广泛共识. 我国在 《十四五规划和 2035 年远景目标纲要》 也明确提出 要 “加快推进制造强国、质量强国建设, 深入实施 智能制造和绿色制造工程, 发展服务型制造新模式, 推动制造业高端化智能化绿色化”. 而传统的人工 以及专机加工, 加工质量一致性差、效率低且只能 实现小批量生产, 已无法满足智能制造需求. 区别 于传统工业机器人简单、重复性劳动, 高端制造机 器人是更信息化、网络化、智能化、柔性化的机器人[4] . 在智能工厂中, 机器人的作业环境日益非结构化, 作业工序趋于柔性化, 作业对象日趋定制化, 生产 的动态性对机器人的环境感知与控制技术提出了越 来越高的要求. 在未来的智能工厂中, 变批量、多品 种、定制化、高柔性的生产模式将成为主流, 机器人 也将得到更加广泛的应用, 机器人感知与控制技术 为智能工厂的高适应、高精度、智能化作业提供保障.

1 智能制造机器人共性关键技术

1.1 机器人感知关键技术

视觉感知是机器人系统的重要组成部分, 在复 杂的三维工业场景中利用视觉传感器获取周围环境 的真实空间信息, 并进行预处理、配准融合以及空 间场景表面生成等过程, 实现对外界环境真实的刻 画及数字模型的重建, 为机器人在工业制造中提供 丰富的二维和三维信息. 智能制造机器人通过视觉 等感知系统, 具备了实时观察作业场景的能力, 可 以极大地增强其智能化程度, 如图 1 所示. 本节将 对双目三维环境感知、3D 点云配准、位姿估计等技 术进行介绍.

1.1.1 三维环境感知

三维环境感知是计算机视觉领域的核心, 它通 过模拟人类双眼视觉系统的观测原理, 利用双目相 机对获取图像进行立体匹配得到图像中像素点的准确视差, 结合双目相机参数获取周围环境的准确深 度信息, 并利用机器学习算法实现场景目标感知识 别与定位 (图 2). 机器人通过双目视觉感知系统, 具 备了实时观察作业场景的能力, 极大地增强了其智 能化程度, 能够更加智能地完成复杂非结构化作业 环境下的各种加工作业任务。双目立体匹配算法可划分为匹配代价计算, 匹 配代价聚合, 视差计算, 视差优化等四个步骤[5] . 匹 配代价计算通过找出参考图像 (通常为双目图像的 左图像) 中待匹配像素与目标图像 (通常为双目图 像的右图像) 中候选像素的匹配对应关系. 为了提 高匹配代价计算方法的鲁棒性, 代价匹配函数[6−7] 以 像素为中心的局部邻域窗口为匹配单元, 计算参考 图像与目标图像中对应匹配像素间的相关性. Martin 等[6] 提出一种零均值归一化互相关代价函数方 法, 可以补偿图像局部增益的变化, 并且可以消除 高斯噪声的影响, 同时保持像素值的空间仿射一致 性. Zabih 和 Woodfill[7] 提出了 Rank 变换, 利用局 部区域像素值的相对次序性统计信息来实现匹配代 价计算. 匹配代价聚合[8−10] 主要通过对匹配代价空 间进行代价聚合来减少错误匹配或歧义匹配的像素 区域. 由于单个像素匹配代价的不稳定性, 代价聚 合往往在代价空间中通过对局部邻域内的匹配代价 进行加权聚合, 来提高立体匹配算法的性能. Tomasi 等[8] 利用边缘等特征信息, 采用传统的双边滤 波器算法实现代价聚合. Zhang 等[11] 提出一种基于 非规则局部十字臂区域的代价聚合算法, 能够很好 地利用场景的结构和轮廓等特征信息, 减少深度不 连续区域的视差估计误差. 视差计算通常使用 WTA (Winner take all) 策略选取最佳匹配视差, 但是直 接使用 WTA 方法来计算视差可能会导致视差估计 误差大. 因此, 为了获得准确的视差估计结果, 视差 计算通常可以转化为能量最小化与优化问题, 通过 构造能量函数, 求取能量函数的最小化来确定最优 视差, 如基于图割[12] 的视差优化方法、基于置信度 传播[13] 的视差优化方法、基于动态规划[14] 的视差优 化方法和基于随机行走[15] 的视差优化方法. 视差优 化是双目立体匹配算法的后处理步骤, 来进一步优 化细化预测视差图的误差. 常用视差后处理算法主 要包括基于分割[16] 算法和基于置信度度量[17−19] 算 法. 基于分割的视差后处理方法通过利用双目图像 的边缘和轮廓等图像细节特征信息, 来引导视差优 化算法细化视差估计错误, 进一步提高双目立体匹 配方法的性能. 如 Yan 等[20] 提出一种基于超像素分 割的视差优化算法来解决双目立体匹配遮挡的问 题. 该方法利于超像素分割算法来提取图像的边缘 和轮廓特征信息, 并结合超像素分割图预测出粗糙 的视差结果, 利用马尔科夫随机场在粗糙视差图的 3D 邻域空间中检测并优化遮挡目标的匹配视差. 场景目标感知算法主要利用机器学习算法实现场景 目标感知识别、检测与定位. 如 Yang 等提出一种 基于深度学习的单阶段目标检测网络模型, 通过建 立一种目标预测解耦检测新范式, 来合理推断不同 目标的最合适位置, 实现目标识别与定位[21] . Wang 等提出一种新型边缘保持和多尺度上下文神经网 络, 高效生成具有尖锐对象边界的显著性特征图, 实现高精度目标检测, 解决传统基于像素的卷积神 经网络 (Convolutional neural network, CNN) 方 法由于卷积层和池化层而产生的模糊边界问题[22]。装备双目视觉感知系统的机器人可以作为智能 制造自动化生产线中的生产作业单元, 承担产品、 元件和零部件等目标物体的测量、检测、识别与引导加工等作业任务. 根据机器人双目视觉感知系统 的应用场景, 可将其划分为识别、检测、测量与定位 等四个方面的应用场景: 1) 基于双目视觉的识别功 能[23] 是指识别目标物体的物理特征, 包括形状、颜 色、字符、条形码等, 其准确性和识别速度是衡量的 重要指标, 广泛应用于机器人自动化产品识别、分 类与分拣中. 2) 双目视觉检测系统[24] 具有非接触、 高效、低成本、自动化程度高等优点. 基于双目视觉 的机器人自动化检测能够替代传统的人工检测, 解 放人工, 去除人工抽检带来的低效、误检与漏检等 问题. 3) 通过基于双目视觉的精密测量系统[25] , 机 器人可以获得加工作业对象的形状、位置、尺寸和 方向等作业信息, 比如打磨、焊接、铣边等加工目标 的余量测量, 然后进一步在视觉的引导下进行加工 作业. 4) 基于双目视觉定位的机器人作业[26] 是指通 过双目视觉获取目标物体的坐标和角度信息, 自动 判断物体的位置, 来进一步引导机器人抓取、搬运、 焊接与装配等.

1.1.2 3D 点云配准技术 3D 点云配准在工业场景具有重要应用, 通过 求解出同一坐标下不同姿态点云的变换矩阵, 利用 该矩阵实现多视点扫描点云的精确配准, 最终获取 完整的 3D 数字模型, 在三维测量、逆向工程、即时 定位与建图等领域有诸多应用。1.1.3 位姿估计技术 机器人在智能工厂中准确完成上料、装配、分 拣、搬运任务, 必须利用视觉系统从作业场景中检 测出目标物体并预测其三维位姿[49]

1.2 机器人规划关键技术在智能工厂中, 机器人安全合理的运动规划和 任务分配是实现高效、稳定和安全完成复杂作业任务的重要基础. 在执行制造任务时, 考虑到狭小空 间以及机器人复杂多维结构, 如图 4 所示, 机器人 有自主运动规划能力, 能够实现避碰规划, 满足由 机械结构环境等带来的运动限制, 是机器人在智能 工厂中运行的必要因素.

1.3 机器人控制关键技术 在智能工厂中, 机器人的控制性能不仅影响到 最终的加工效果, 还影响到加工过程的安全. 高精、 高效、高柔性、高稳定性的控制策略为工件的安全 制造提供了保障 (图 4).

2 智能制造机器人应用关键技术

2.1 复杂部件机器人三维测量三维测量在工业制造领域有大量的应用, 按照 基本功能可以分为尺寸测量、表面测量、坐标测 量[114] . 目前主流的工业三维测量方法包括, 激光跟 踪仪、激光三角测量、摄影测量系统、结构光、飞行 时间技术等, 图 6 为工业三维测量技术发展历程. 三维测量包括数据获取、数据处理、测量分析等主 要过程, 然而由于传统手工测量方式在数据获取过 程缺乏自主性, 需要引入视点规划、点云配准等技术, 提高机器人三维测量的智能自主化程度.

2.2 复杂部件机器人力控磨抛

磨抛加工是表面改性技术的一种, 能够有效提 高部件表面的平整度和光洁度, 获取特定的表面粗 糙度, 消除焊接等加工过程中产生的应力, 具有柔 性灵活性强、作业效率高、加工一致性好等优点. KUKA、ABB、FANUC、YASKAWA 等机器人企 业均开展了磨抛机器人的应用研究. 如图 9(a) 所 示, KUKA 公司研制的 KR 120 R2900 Fextra 机 器人, 通过将该机器人和负荷能力为 750 kg 的三轴 式定位装置, 在不损伤工具且毛刺外形不同的情况 下, 能够确保高标准、高质量完成打磨任务. 如图 9(b) 所示, 奥地利 Fer Robotics 公司开发了基于气控系 统的浮动打磨与抛光末端系统, 实现在单一方向上 的快速浮动打磨与抛光, 浮动力控制精度最高可达 到 1 N, 用户通过快速简便的编程, 在提升质量的 同时节约更多成本. 如图 9(c) 所示, 加拿大 ESI 公 司依托自研的协作机器人, 开发了 E-Stial 柔性打 磨机器人工作站, 利用实时力控反馈、精密轨迹调 整、精密接触力调整等先进技术实现了安全、稳定、 高效的抛光打磨作业, 克服了传统磨抛方式调试时 间长、成品质量不一致等缺点. 美国 Carnegie Mellon University[133] 等科研机构从前沿理论探索的角 度对磨抛机器人进行了研究. 文献 [134−135] 设计 了磨抛机器人模糊 PID 控制方法, 采用末端位置和 关节角度参数设计模糊规则, 使 PID 控制器参数在 每次采样时在线更新, 提高了系统的响应速度和稳 态精度. 基于模糊逻辑方法[136] 和基于机器学习的方 法[137] 被用于对磨抛机器人关键模型信息进行估算, 从而减小对于模型信息的依赖. 国内的科研机构也对磨抛机器人的相关技术开 展了持续的研究, 华中科技大学陶波教授等针对大 型风电叶片加工区域大、形状复杂、任务规划难等 问题, 提出了基于几何及任务信息的大型复杂构件 加工区域划分方法[138] . Zhao 等以风电叶片表面打 磨为应用背景, 构建了大型复杂构件机器人移动打 磨硬件系统, 并在风电叶片表面打磨实验中进行了 系统性验证[139−140] .

2.3 机器人柔顺智能装配

轴孔类零部件装配是工业机器人应用的重要场 景. 传统机器人装配按照示教或者离线编程所设定 的动作进行, 难以适应不断变化的环境. 为满足小 批量多品种的生产模式, 完成更加复杂的装配任务, 现有研究通过将视觉传感器、力传感器和工业机器 人结合应用, 使机器人具备对周围环境高度感知的 能力, 能够根据环境变化做出相应调整Dietrich 等建立轴孔接触状态与力信息的关系 图, 通过关系图纠正轴孔之间的位姿误差, 完成轴 孔装配任务[141] . Liu 等提出了基于螺旋插装策略的 飞机尾翼轴孔装配方法[142] . Lefebvre 等[143] 提出机器人主动柔顺控制方法, 通过接触状态规划结合力 控算法, 能够实现自主装配运动. Abdullah 等[144] 建 立了装配过程中轴孔之间的相对位置与接触力/力 矩的映射关系, 并根据人为制定的决策规则来规划 装配运动轨迹.近年来基于强化学习的机器人装配方法也受到 广泛关注. 传统机器人装配方法中不具备自学习的 能力, 强化学习算法通过控制机器人和环境不断接 触试错学习到合适装配策略, 能够自主完成复杂装 配任务. Inoue 等提出了基于深度强化学习的高精 度轴孔装配方法, 利用长短时记忆网络和强化学习 算法结合有效的现实机器人装配任务[145] . Chen 等 提出了一种基础策略迭代的强化学习方法, 实现了 具有未知系统动态的连续时间系统的稳定控制[146] . Luo 等提出了面向齿轮的轴孔装配任务的机器人控 制器, 通过最优控制方法生成装配过程中的运动轨 迹, 能够通过几次训练稳定的完成装配任务[147]。

3 智能制造机器人典型应用案例

3.1 高端制造智能无人工厂

智能无人工厂也称智慧工厂, 是在数字化工厂 的基础上, 利用工业互联网等技术提升工厂制造效 率和运营水平, 提高生产过程的可控率, 从而实现 制造企业的降本提质增效以及转型升级. 按照德国 的 Scheer 教授提出的智能工厂构架理论, 智能工厂 可以分为基础设施层、智能装备层、智能产线层、智 能车间层和工厂管控层五个层级[148] . 随着机器人、 人工智能及增材制造等新兴技术信息迅速升级, 为 制造业推进智能工厂建设提供了良好的技术支撑. 德国梅赛德斯奔驰的 56 号工厂是按照工业 4.0 标准打造的未来工厂, 采用了无人运输系统、数 字孪生、自动分拣等技术. 工厂大量的使用了 AGV 装配线, 可以实现无轨装配工位, 无轨自动运输, 并 与自动分拣、DTS (Data transmission service) 系 统相匹配使用, 可实现多种车型混线生产. 在保 证大规模生产的同时, 也保障产品质量并降低生产 成本. 三一集团的 “18 号厂房”工程机械总装车间, 采用 5G+AGV 小车完成智能分拣和精准配送, 在 智能化调度系统的控制下, 上百台机器人能够高效 协同工作 (图 10); 采用 5G 高清传感器, 组装作业 时可以自动修复偏差, 减少因磕碰导致的质量缺陷; 大件激光切割软件及系统, 在多品种钢板物料特征 识别技术、基于激光测量的物料精确定位技术、激 光跟踪与实时寻边技术、机器人位姿鲁棒控制与在 线补偿技术以及基于激光寻边的切割轨迹光顺与优化技术等五个方面取得创新突破; 通过制造运营系 统、物流管理系统、远程控制系统、智能搬运机器人 等系统优化运用与深度融合, 在数字化 “加持”下, 实现了从一块钢板进来到一台整车出去的全流程自 动化生产.

3.2 高端制药机器人智能检测生产线

高端智能医药质量检测主要是指通过新兴的机 器人技术来代替人工进行质量检测的过程. 相比于 传统人工检测而言, 它具有稳定性好、持续工作时 间长、精度和效率高等优点. 日本 Eisai 公司、德国 Brevetti CEA 集团、意大利 Seidenader 等企业纷 纷开展机器人医药检测技术研究.我国制药装备需求量大, 医药制造装备的性能 是保证药品质量的基础. 为解决传统药品质量检测 环节依赖人工、漏检、误检频发等问题, 需研制高端 制药机器人视觉检测控制关键技术与装备, 实现制 药过程无菌化、无人化生产, 保障药品质量安全. 高 端无菌化制药机器人面临的主要挑战包括: 制药技 术装备工艺复杂, 无菌化控制难; 制药过程污染颗 粒微小、种类多、检测难; 高端制药过程中多工序、 多任务、多机器的协同控制难. 湖南大学团队针对 高端制药装备感知与控制的重大需求, 攻克高端制 药灌装封口机器人协作控制、高端制药检测机器人 视觉识别、高端制药分拣机器人视觉控制等关键技 术, 研制出无菌化配药双臂机器人、药品灌装−转运− 封口机器人、药品质量视觉检测机器人、药品分拣 机器人等自动化生产线装备, 如图 11 所示

基于机器视觉的医药检测是在药物出厂前, 通 过对药物的运动图像或视频进行分析和处理, 从而 实现对药物的一系列质量检测, 例如, 液体环境中 的外来异物检测、冻干粉中的杂质检测、外包装和 标签检测等. 针对安瓿瓶型, Ge 等设计了一种自动 检测安瓿注射杂质的系统, 采用空间在线极限学习 机算法, 验证了该算法在区分气泡和异物上的可行 性[149] . 针对药液中的不溶异物检测方法, 张辉等提 出了一种可行的高速度、高精度的机器视觉检测方 法, 能在线检测 30 多种微弱异物, 检测精度达到 50 μm, 异物检出率 99.7% 以上, 满足医药微弱异物种类繁 多、特征多样、高速高精度的在线检测要求[150] .

4 智能制造机器人发展趋势及挑战

当前, 云计算、物联网和大数据等新兴信息通 信技术快速发展, 为高端制造业的发展提供了新的 思路和契机.

**1) “云−边−端”融合的智能制造. **“云−边−端” 融合的作业模式通过深度感知制造过程中生产实体 的特性和状态, 动态/在线地在工业云 (云) 和生产 单元 (边、端) 间进行数据交换和计算分发, 进而高 效、无缝、透明地协同使用云端和边缘端的计算、存 储及数据等资源, 以实现网络化、智能化、柔性化生 产. 在智能制造机器人协同作业场景中, 在 “云−边− 端”融合的架构集成了通信与计算技术, 克服了个 体设备信息存储和计算资源等的固有局限, 能够较 好地支撑机器人系统运行 (如图 12). 有效地建立云 边融合的网络架构, 加强云边端协同、智能共享的 顶层设计, 将是未来智能制造机器人研究的重点.

2) 新一代智能制造系统由通信、计算、感知、 控制与安全体系等组成, 通过新一代人工智能技术, 智能制造系统将具备 “感知−决策−执行”的闭环特 征, 而在动态环境中构建机器人的感知−决策−控制 协同作业机制具有重要意义. 在工业互联网平台设 备互联互通的基础上, 利用分布式传感技术实现生 产场景要素的全面感知, 以适应复杂制造场景下感 知对象异构、干扰因素多等挑战; 灵活运用集中式、 分布式与群体智能, 建立安全高效、强鲁棒、易扩展 的任务调度和动态规划体系, 设计机器人自主决策 机制, 保障大规模制造任务和工序井然有序地运行.

**3) 人机融合智能. **人机融合技术不断深化, 标 准化结构、柔性人机交互技术不断发展, 促进智能 制造领域工业机器人的便捷性和可靠程度越来越 高. 人机融合在智能机器人生产设计中, 越来越受 到重视. 人机协同既具备人类认知能力, 又具备机 器人的高效率, 通过人类与机器人的智能协作, 能够完成复杂的加工、装配等任务, 同时提升了安全 性与便捷性, 是人机融合的一个重要发展方向. 同 时, 随着机器人技术日益成熟、智能仓储机器人等 产品的快速发展, 人机协作技术在电子、建筑、家居 等一般行业的应用也在迅速演进.

**4) 集群机器人技术. **智能制造机器人涉及先进 信息技术、机器人技术、自动化技术以及机械工程 与材料工程交叉融合等前沿制造技术. 面对大规模 的智能制造任务, 机器人往往处于分散、低连通环 境, 为适应需求多变、异构感知对象、突发问题等情 况, 需根据特定感知任务, 准确描述跨域多实体、多 机器的动态协作关系, 进而探索自适应的群组动态 协作感知与融合策略, 实现智能制造机器人的跨域 融合感知. 还需在动态和多维信息收集的基础上, 对复杂问题进行自主识别、判断、推理, 并做出实时 性的决策, 实现集群机器人的精准感知与实时规划, 集群机器人有望在新一代智能制造系统发挥重要作 用, 如图 13 所示.

5 结论 随着新一轮工业革命的到来以及人工智能、云 计算、物联网技术的快速发展, 世界主要工业国家 都开始加快机器人技术战略部署. 本文首先对机器 人感知与控制的关键共性技术进行了综述和介绍, 如三维环境感知、3D 点云配准技术、位姿估计技术、 运动规划技术、多机协同规划、精准控制技术、柔顺 控制技术、视觉伺服技术等. 然后介绍了机器人应 用的关键技术, 如机器人三维测量、机器人加工与 装配等, 最后总结了机器人系统在智能制造领域应 用典型案例, 并探讨了智能制造机器人的发展趋势 和所面临的挑战.