机器人如何用机器学习？斯威本科大等《机器学习遇上机器人操控》综述

机器学习如何用于机器人？本篇论文最新阐述

自动化产业导致高质量的生产、更低的制造成本以及更好的人力资源利用。机器人操纵臂在自动化过程中发挥着主要作用。然而，对于复杂的操控任务，硬编码有效且安全的轨迹是具有挑战性且耗时的。机器学习方法有潜力基于专家演示来学习这样的控制器。尽管有着有希望的进展，但是必须发展更好的方法，以提高机器学习方法在训练和部署阶段的安全性、可靠性和效率。这项调查旨在回顾应用于现实世界操控任务的机器学习方法的前沿技术和最近趋势。在回顾了机器学习的相关背景后，本文的其余部分致力于在不同领域如工业、医疗保健、农业、太空、军事以及搜索和营救中的机器学习应用。本文最后将介绍未来工作的重要研究方向。

https://www.zhuanzhi.ai/paper/dd776a97f2e0321b5a3f17c4c2a69700

对于人类来说，由于具有独特的视觉能力和具有224个自由度（DoF）和大约630块骨骼肌肉的高度灵活的身体结构，操控不同的物体是一项琐碎的任务[1]。然而，机器人操控是一个复杂的问题，并且是一个活跃的研究领域。原因是，用相应的（可能是简化的）机器人副本来复制自然生物（例如人类）的视觉和动作能力是一项非常具有挑战性的任务。随着机器人结构的复杂性从硬到软的增加（第2节），为它们开发控制器变得更加困难，这是使用机器学习（ML）方法进行机器人控制开发背后的动机。机器人文献包含了多项调查，以追踪机器学习方法，特别是强化学习（RL）和深度学习（DL）在机器人问题中的迅速进展。Amarjyoti[2]专注于应用于学习机器人操控的RL和深度RL（DRL）方法，而没有研究领域特定的应用。此外，Amarjyoti[2]仅考虑了离散机器人，忽略了软性的。Thuruthel等人[3]和Kim等人[4]通过研究软性操纵器的控制策略弥补了这一不足。考虑到机器人操控的复杂性，从头开始学习控制器具有挑战性且有时代价高昂。而且，适应突然的变化和执行多任务并非易事。模仿学习可以用来在机器人上复制专家的行为，并推广到新的环境[5]。模仿学习的演示要么直接，要么间接。像肌肉教学[6]和遥操作教学[7]这样的直接演示中的训练数据是在机器人本身上完成的。间接演示是在没有与机器人互动的单独环境中收集的[8]。简化学习过程的另一种方法是在模拟环境中进行训练，并将学到的技能转移到真实的机器人。这可以通过使用已经广泛评估的模拟到真实方法来实现[9, 10, 11]。

走向鲁棒的机器人操控的一个基石是环境感知。很明显，如果不能确定物体相对于机器人末端执行器（EE）的位置，物体操控是不可行的。这一需求激发了Kleeberger等人[12]回顾了基于视觉的物体抓取方法的机器学习（ML）。基于视觉的机器人抓取方法要么是分析性的（也被称为几何的），要么是数据驱动的[12,13]。在分析方法中，多指机器人手执行有四个属性的力闭合抓取，即灵巧性、平衡性、稳定性和某种动态行为[14]。当且仅当可以在不与物体失去接触的情况下，用机器人的手指尖对物体施加任意的力和力矩时，抓取才被称为力闭合[15]。为了执行这样的抓取，解决一个约束优化问题以满足这四个属性的一个子集或全部。抓取方法的第二类是数据驱动的。这一类是基于根据特定度量对采样的抓取候选进行排名。此外，候选的生成通常基于启发式的抓取经验，或者是使用模拟或实际的机器人生成的，并且使用ML学习抓取技能。Kleeberger等人[12]关注的是数据驱动方法。Newbury等人[16]也回顾了两类抓取方法，特别关注DL解决方案。

发展学习复杂问题的最先进的ML方法是有价值的，试图将它们应用于实践同样重要。这就是为什么Fabisch等人[17]不是关注ML方法本身，而是致力于一项完整的调查，探讨了ML方法在机器人行为学习的实际应用。采用类似的方法，Benotsmane等人[18]研究了ML在工业领域的应用，而[19]研究了农业自动化的ML和DL方法。这些方法甚至已经用于空间应用[20]。

考虑到操控任务中学习问题的多样性，Kroemer等人[21]提出了一个包含五个类别的形式化，覆盖了大多数软性和离散机器人的操控学习问题。这五个类别是状态空间表示学习、动力学模型学习、运动技能学习、已学习技能的前提条件学习和层次学习。技能的前提条件是指执行该技能的环境。在层次RL文献中，前提条件也被称为称为选项的时间扩展行动的启动集[22]。

虽然上面列出的调查在各自的权利方面都是有用的，我们相信，仍然需要一项新的调查，涵盖ML和DL在不同领域的实际应用。在本文中，我们努力回顾医疗、工业、农业、搜救、军事和太空应用中的前沿ML/DL技术。表1展示了我们的论文与现有的调查论文相比的贡献。

本文的其余部分如下**。第2和3节分别致力于机器人操纵器结构和控制**。第4节回顾了RL的基础知识，第5节回顾了它们在机器人操控中的应用和挑战。同样，DL在操控器的应用在第6节中被提出。第7节回顾了与操控器相关的Sim-to-real方法。第8节回顾了操控器在各个领域的应用。结论性的意见和进一步研究的建议分别在第9和10节中提出。

我们正生活在一个技术飞速发展的特殊时代，在这个时代，机器人操控器在实现高效可靠的自动化方面发挥着重要作用。虽然传统的手工编码控制器已经存在了很长时间，但机器人日益增长的复杂性要求更好、更易于使用的控制器。机器学习（ML）可在一定程度上用于抽象开发手工编码控制器的复杂性。这是通过利用领域知识，以专家演示的形式，和/或使用强化学习（RL）通过与机器人工作空间的交互来学习控制器来实现的。然而，基于ML开发可靠的控制器仍需进一步研究。深度学习（DL）基础控制器对抗性攻击的稳健性，加强机器人周围的人类安全，以及实现成本效益的训练，只是未来可以追求的一些因素。

在工业领域，输入到DL模型的通常是各种类型的传感器读数。只要传感器是功能性的，DL模型就会完成它们被设计来做的目标。现在假设一个或多个传感器由于磨损而故障。从DL模型的角度来看，故障传感器的无效读数就像是OOD（Out Of Distribution，分布外）输入，可能以不可预测的方式破坏DL模型的输出。这种行为在安全关键应用中可能是灾难性的。因此，开发能检测到OOD输入的DL模型至关重要。

在盈利性行业中，由于维护而使成本最小化和生产线停机时间最短是非常重要的，这可以通过预测性维护来实现。AI方法可以有效地实施预测性维护[311]。更一般地说，麦肯锡全球研究所在其2018年报告[312]中预测，到2030年，AI有潜力为全球经济贡献约13万亿美元。除了盈利，工业还必须是可持续的，即它们必须最小化对我们环境的影响。AI可以用于推动绿色技术。AI和机器人能够大大帮助的一个关键领域是最优能源消耗。实际例子包括使用ML优化Google数据中心的能源消耗[313]，以及通过用机器人取代人类实现绿色制造。后者导致了能源消耗[314]和碳排放[315]的显著减少。此外，ML在大数据分析[316]和大规模系统的实时性能监控[317]方面也可以发挥重要作用，这对于工业4.0的竞争市场至关重要。本次调查试图总结控制操控器的最先进的基于ML的方法。此外，还回顾了操控器在军事、医疗、农业、航空航天和工业等不同领域的实际应用。