打造属于机器人的触觉感官,腾讯Robotics X实验室做到了更快、更轻、更准

2022 年 12 月 1 日 机器之心

机器之心原创

作者:杜伟

机器人也能「触手可达」。

机器人已经成为现代生产生活中的重要组成部分,如工业机器人、家用机器人等。机器人成为了人类功能的延伸,而在对智能机器人的长期追求中,人们设想赋予机器人类人的五感,即视觉、触觉、听觉、嗅觉和味觉,尤以视觉和触觉最为重要。过去几十年,计算机视觉和图像传感器等技术在机器人领域取得了巨大进步,但触觉能力相对落后。

 
触觉在日常生活中发挥着视觉无法取代的作用。人类既可通过触摸感知到的触觉评估物体的大小、形状等属性,又能通过接收到的压力、振动等感觉信息感知周围环境并规避潜在危险。同样,机器人触觉是其理解现实世界物体交互行为的重要武器。通过触觉感知,机器人能够获取物体的重量、刚度、变形等触觉信息,从而顺利实现对物体的精准定位以及执行各种操作(比如抓握)任务。

此外,触觉是人类进化史中最早发育与最原始的感知能力, 也是人类五种感知中唯一一种具有主动、双向交互的感知与交互能力。得益于触觉的双向交互性,触觉包括了感知(sensing)与渲染(actuation/display)。感知是通过触觉传感器获取交互环境中的触觉信息,并以某种方式编码与存储;渲染则是根据数字化的触觉信息将其直接在人体上输出并直接感受。在实现上,感知通过触觉传感器进行,渲染通过触觉执行器进行。因此,触觉传感器和执行器成为业界研究人员深耕的两大领域。

在国内,有一家实验室致力于推进人机协作的下一代机器人研究,打造虚拟世界到真实世界的载体与连接器。它就是 2018 年成立的腾讯 Robotics X 实验室。目前实验室的研究方向包括作为机器人基础技术的视觉、触觉等感知能力,以及灵敏运动、灵巧操控、智能体三大支柱技术。 

针对触觉的两大领域,腾讯 Robotics X 实验室进行了大量的探索和开发,其中在柔性触觉传感器领域瞄准了压阻型、电容型、摩擦电型、光纤型四种机理,在柔性触觉执行器领域专注于电流型和电磁型反馈机理,并取得了一系列研究成果。

近期,该实验室联合其他科研团队在 Nature Communications、Science Advances 和 ACS Nano 期刊上发表了一系列代表性论文。本文则从传感器和执行器的原理、设计、制备和控制等多个方面揭示了其中的技术独到之处。

触觉传感器

触觉传感器用来测量传感器与环境的物理交互所产生的信息,通过模仿生物皮肤的触觉感知功能,检测接触事件发生时的机械、温度、疼痛等多模态的刺激。人体皮肤对硬度、粗糙度、温度、振动等具有细腻的触觉感知,通过综合分析物体的各项触觉信息,使手部肌肉施加合理的力,进行自适应的抓握。

在电子皮肤的辅助下,智能机器人系统或假肢也可以利用触觉信息进行运动轨迹规划、物体操纵、安全操作,并从环境中获取各种信息。但对于自由度越来越高的刚体机器人,传统扭矩传感器昂贵且难以部署,所以开发柔性、高灵敏度、高空间分辨率、多模态的电子皮肤是实现高效感知和控制的重要一步。

目前业界已经出现基于电阻式、压阻式、电容式、压电式、摩擦电纳米发电机(TENG 式)、光纤式、基于视觉等工作原理的机器人触觉感知方法。

压阻式传感器:高灵敏、高分辨率、响应速度快
                                       
目前,压阻式传感器因其构造简单成为机器人触觉传感器的重要发展趋势,但因灵敏度较低、检测压力范围较窄、响应速度较慢等缺点,目前仍处于实验室研究阶段。另外,制作材料也是压阻式传感器面临的一大难题。

虽然导电纳米材料(如碳纳米管、纳米纤维、银纳米粒子、金纳米线)与聚合物弹性体(如聚氨酯、PDMS)合成的压阻薄膜是首选材料之一,但在实践中,导电纳米材料很难均匀地分散在制膜前驱液中,导致压阻薄膜灵敏度较低。

业界已有通过将表面处理成各种微结构进而增加压阻薄膜与电极之间接触面积的方式来增强灵敏度,比如美国斯坦福大学鲍哲南课题组曾利用空心球微结构制作锯齿状压阻式触觉传感器阵列(2014)。然而,基于模具的微结构限制了单个传感器的尺寸并阻碍其向大型传感器阵列的集成。

因此,腾讯 Robotics X 实验室一方面致力于提升压阻薄膜的灵敏度、压力检测范围、响应速度、线性度等各项指标,为应用于机器人的触觉传感器提供优越的电子材料;另一方面研制高分辨率的晶体管基阵列,提升触觉传感器的图形分辨率。

实验室在与清华大学集成电路学院合作的 “Large-Scale Integrated Flexible Tactile Sensor Array for Sensitive Smart Robotic Touch” 论文中,将上述压阻式传感器的各项指标达到了领先水平。该论文已在 ACS Nano 期刊上发表。

论文链接:https://pubs.acs.org/doi/10.1021/acsnano.2c06432
 


研究者展示了一个 64 × 64 柔性触觉传感器阵列,通过集成高性能压阻膜(PRF)和大面积碳纳米管薄膜晶体管的活性矩阵,实现了 0.9 mm(相当于每英寸 28.2 像素)的高空间分辨率。所研制自组装微结构的压阻薄膜表现出了高达 385 kPa^-1 的高压力灵敏度、3 ms 的快速响应时间、良好的线性度、大于 1400 kPa 的检测范围以及超过 3000 次的良好循环耐久性。集成前两者研制的触觉传感器阵列可以清晰识别仿真蜜蜂的足底图像信号。研究者在硬件上也实现了触觉传感器阵列与基于忆阻器的存算一体芯片相结合的智能触觉系统,记录和识别手写体数字和汉字书法,分类准确率分别达到了 98.8% 和 97.3%。

 
TENG 式传感器:体积小、传输距离远、自供能

为了实现第四次工业革命,物联网技术在诸多领域不断提升其惊人的能力。在整个物联网系统中,传感器是基础单元,收集各方有用的信息并传递给人或其他装置。有线传感和无线传感是两种主要的实现方式。有线传感系统直接将传感器连接到接收输入的设备上,会给应用场景带来诸多限制,很多应用场景难以实现有线信号传输,比如体域网等。因此,针对无线传感系统的解决方案研究迫在眉睫。无线传感系统安装方便、灵活性足,维护起来也方便,应用场景也越来越多。

然而,传统的无线传感技术往往需要传感、信号调制、无线传输以及供能与能量管理四个模块,这导致无线传感系统存在体积大、刚性、高能耗和高成本等问题。这无疑限制了无线传感系统的应用场景,并在系统维护和可持续发展方面带来了新的挑战。新兴的摩擦纳米发电机(TENG)技术成为了无线传感的替代方案,它既可通过额外的位移电流项触发无线信号的产生与传输,还能同时高效地捕获机械能和运动信号,不需要额外的电源和传感模块,使设备实现完全自供能。

腾讯 Robotics X 实验室联合香港中文大学分别在 Science Advances 和 Nano Energy 期刊上发表了两篇论文,在基于 TENG 的柔性触觉传感器方面取得了一系列研究成果。

在第一篇论文中,研究者研发了一种基于 TENG 技术的自供能无线传感贴纸(self-powered wireless sensing e-sticker, SWISE),它可以将输入的机械信号转化为电磁波信号以实现无线传感,完全不需要电池或导线。SWISE 器件具有一体化、完全自供能、柔性、可形变、小型化(低至 9 mm × 9 mm, 指甲盖大小)、超薄(低至 95 μm)、超轻(低至 16 mg)以及远距离传输(> 30 m)等多种优点。

论文链接:https://www.science.org/doi/10.1126/sciadv.abi6751
 

图 自供能无线传感贴纸(SWISE)与目前一些无线传感设备的参数比较

具体地,这项工作提出通过击穿放电引起的位移电流使得电磁波生成和自供能无线传感的范式转变策略,并实现了一体式完全自供能无线传感和传输单元即 SWISE。与最先进的无线传感设备相比,SWISE 具有最小的器件尺寸和最远的有效传输距离(>30 m),并兼具完全自供能及纯柔性的特点。

在此基础上,研究者制作了自供能无线柔性键盘和智能腕带,用于检测和传输来自多个按键的信号。就应用而言,SWISE 可以在可穿戴和植入式设备、机器人、生物医学、人机界面、基础设施等领域实现潜在应用监控。

第二篇论文则是在 SWISE 工作原理的基础上进行的拓展,提出了一种面向商业传感器的通用自供能无线传感解决方案(general self-powered wireless sensing solution)。与 SWISE 一样,该方案利用击穿放电效应将机械信号转化为电磁波信号,同时产生的电磁波信号利用多种商业传感器进行调制,从而实现面向商业传感器的自供能无线传感平台。

论文链接:https://doi.org/10.1016/j.nanoen.2022.107982
                                              
具体地,在 SWISE 自供能无线传感策略的基础上,研究者进一步探究了其模型并提出了一种通用的自供电无线传感解决方案。通过调整电阻、电感和电容等系统参数,调制频率和阻尼比,分别用无线信号中的振荡基频 / 周期和衰减时间来表征。基于这些方法,SWISE 可以耦合相应的商业传感器,以实时、自供能和无线的方式通过电磁波传输多种物理信号的感知信号。在此基础上,研究者用不同的调制方法演示了自供能无线温度和压力传感系统,以验证该方法的有效性,并预期可以应用于多物理信号感知领域。

此外,腾讯 Robotics X 实验室还联合清华大学深圳国际研究生院在 Nano Energy 发表了一篇论文,提出了一种基于 TENG 的新型电子皮肤触觉传感器,仅利用单一机制即可实现多模态传感。此外在实际应用中通过引入小波变换提出了信号解耦方法,并在此基础上提出了一个无线且完成集成的系统「MTSensing」,用于实时和同步的材料和纹理识别。

论文链接:https://doi.org/10.1016/j.nanoen.2021.106798

电容式传感器:耐磨损、稳定性、双模态

电容传感器具有灵敏度高、响应快、检测限低等优点,已广泛应用在智能穿戴、机器人传感和人机交互等领域。传统的电容传感器大多采用多功能层简单堆叠的异质结构,不同层在材料和弹性模量上差异较大,存在显著的力学失配。因此,具有异质结构、非粘结界面的器件也存在界面不稳定的问题,在高剪切力条件下容易出现界面分层,造成传感信号失真或失效。

目前已经出现在传感器中引入微结构的方法,这样可以增强介电层的可压缩性以提高灵敏度,并通过快速恢复和释放能量来提高器件的响应速度。在介电层中添加导电填料可以产生更高的介电常数,从而改善信号幅度。

此外,电容传感器与软体机器人之间的界面也存在力学失配和界面粘附力不足的问题,导致机器人在复杂的机械条件下进行抓取动作时容易产生信号失真等问题。因此,解决柔性电容传感器的界面稳定性问题并同时实现高性能传感极具应用价值。

对此,腾讯 Robotics X 实验室联合南方科技大学在 Nature Communications 上发表了一篇论文,舍弃了常规的电容传感器异质结构,设计了同质、拓扑交联的增韧微结构界面,既获得了高灵敏度和高界面稳定性的有机结合,又实现了电容传感器与机器人的无缝融合。

论文链接:https://www.nature.com/articles/s41467-022-29093-y
 


一方面,这种同质结构设计将传感器的响应速度提升了 30 多倍,这源于弹性体材料中掺杂导电粒子引起的渗流转变和微结构界面接触面积的增加两种效应的协同。另一方面大大提升了传感器的稳定性,使其经过 10 万次的摩擦循环测试或 1 万次的 5 kPa 剪切力循环测试下仍能保持信号稳定。

通过在微结构界面引入拓扑交联,该传感器获得了高达~ 390 J·m^-2 的界面韧性和~ 90 kPa 的高剪切强度,在高压、高剪切力模式下均表现出了优异的稳定传感性能。例如,传感器贴附在汽车车胎上(~300 kPa 的压力以及~ 6 kPa 的剪切应力)行驶 2.6 km 后仍然可以正常工作,没有观察到器件的界面破坏。此外,通过在电子皮肤与软体机器人之间构建共融界面,器件在软体抓手不同的抓取场景下都表现出极稳定的传感性能。

 
腾讯 Robotics X 实验室的一系列研究工作在灵敏度、分辨率、响应速度、信号稳定性、传输距离、自供能等多方面提升了触觉传感器的性能,但依然会面临一些挑战。比如,再强大的柔性触觉传感器也会在反复变形过程中出现性能退化,因此如何使其保持更长的使用周期以及更高效地实施维护可能是今后的重要研究课题之一。

此外就制作材料而言,近年来业界出现了很多基于石墨烯薄膜及其衍生物的柔性触觉传感器工作,实际性能也可圈可点。随着未来更多新材料和新工艺的出现,触觉传感器在制作材料和结构设计方面可能会迎来更多可能性,因此需要持续关注那些制作成本更低、潜在应用效果更好的柔性材料。

触觉执行器

如果说传感器是感觉器官,则执行器是控制器官。执行器是实现高性能触觉反馈(触觉渲染)的重要组成部分,通过末端执行器产生的振动或作用力获得良好的触觉反馈,增强交互沉浸感,进而实现更高效的响应及控制。

人体触觉渲染主要分为两类,即动觉(Kinaesthetic)与压觉 / 肤觉(Tactile)。动觉是普通意义上的力与力矩反馈,作用于骨骼、关节、肌腱等。压觉是由人体皮肤形变与摩擦振动而带来的反馈,作用于真皮层的四种机械感受器,它们分别用来感受不同频率和强度的皮肤形变与摩擦振动。触觉对于渲染连续性的要求要高很多,动觉一般要达到 1000Hz 才能保证人体感受到力 / 力矩的连续渲染,而压觉一般也要求 250-700Hz 才能保证连续性。

对应于人体的触觉渲染,实现机器人触觉渲染的执行器也分为压觉和动觉两种,它们的评价标准各有不同。目前执行器领域出现了电磁式、压电式、电刺激、气动式等多种激发方式,它们在响应速度、分辨率和安全性等方面的表现各有不同。一般来讲, 因为执行器和人体直接接触产生交互,所以对于其电压、发热、体积、重量等方面均有较高要求。

压觉执行器:电刺激、电磁和气动方式并行

压觉反馈的评价标准包括空间分辨率、最大压觉刺激强度、刺激强度等级和响应时间。其中空间分辨率决定了压觉反馈系统能够在单位面积上给予人体多少个不同位置的刺激。人体的压觉感受器主要分布于双手, 尤其是指尖,在指尖正中间的感受器密度可以达到 80/cm^2。较新的压觉反馈能够在指尖实现 3mm–5mm 的密度,即每个指尖可以做到 8–38 个压觉反馈点。

最大压觉刺激强度决定了每个压觉反馈点能够渲染的最大「力道」,刺激强度等级决定了每个压觉反馈点从最轻微到最用力之间渲染出多少个等级,响应时间决定了每个压觉反馈点的变化快慢程度,越接近 250-700Hz 响应度越好。

压觉的实现方式多种多样,目前尚无明显优势的技术方案。以 Meta、HaptX 为例,两家均采用气动方式,但受限于气囊尺寸、充放气管道数量、充放气控制器通道数和气泵尺寸等因素,这种方式仅限于实验室场景部署,较难落地应用。

腾讯 Robotics X 实验室在压觉渲染上布局多年, 现在已经研究出三种完全不同的实现方式, 并各有其优缺点。其中可穿戴、电刺激触觉重现装置相关的工作于 2022 年在 Science Advances 上发表。

一是微电流压觉执行器阵列(电刺激)。此方式可以在单一指尖上以 20 个不同强度的微电流渲染 105 个触觉点(通过超分辨率算法),频率可达 4KHz,在指尖中央区域可以做到 80 个触觉点 / cm^2,成为业内首款可以达到人手机械感受器密度的压觉执行器阵列。它可以实现在指尖上单纯利用压觉辨别所有英文字母和数字,准确率达到了 90%。同时工作电压由之前研究工作中常用的 300-500V 降低到 13-28V,位于人体安全电压以下。形态上为一片柔性电路,不存在重量 / 体积的问题。

论文链接:https://www.science.org/doi/10.1126/sciadv.abp8738

其二是基于电磁的压觉执行器阵列(机械刺激)。此方式可以在单一指尖中心区域以不同频率(1-500Hz)渲染 13 个触觉点,工作电压为 5V,形态上为一块硬质基板上的电路 + 执行器阵列。此方式的渲染原理为物理接触,相较于电刺激,其触觉感受更为明显与自然。

其三是基于气动的 TPU 压觉执行器阵列(同样为机械刺激)。实验室现有的控制器 + 气泵尺寸约为成年人背包大小的 2/3,可以同时输出 16 路、5V 供电,一个小型充电宝即可供整套系统工作超过 3 小时。同时制备效率极高,在成本、舒适性方面也都极具优势。此外也可以根据需求制备出不同尺寸的阵列,供手臂、前胸、后背等人体各个部位驱动。 

动觉执行器:实现自由度优势

动觉反馈的评价标准包括自由度、最大力矩和响应时间。其中自由度决定了动觉反馈系统能够给与人体多少个单独可控的力 / 力矩输出,自由度越高,越能够实现人类上肢,尤其是手部的灵巧操作。但高自由度会带来指数级的实现复杂程度、设备重量、可靠性以及耗电量。

最大力矩决定了动觉反馈时给予人体的束缚 / 推进力大小,力矩太小会导致输出无法被感知,但增大力矩也会导致电机尺寸、重量和耗电量成倍增长。响应时间决定了动觉反馈时力 / 力矩的变化快慢程度,越接近 1000Hz 响应度越好。

动觉的主要实现方式是小型舵机,基本要求是在较小体积与重量的情况下实现较大力矩输出。现阶段关于动觉的比拼主要在于自由度的部署,较为普遍的方式是为每根手指输出一个自由度,即可以渲染手指自然卷屈时的力, 但无法渲染手部抓取复杂构型的力。

当前,腾讯 Robotics X 实验室的实现方式是为每个手指布局两个定制舵机和一个微型编码器。两个舵机分别用来渲染手指根部(近节)与第二指节(中节)的力;编码器用来获取手指侧摆的信息,仅做姿态追踪输出。这种方式在与业界其他解决方案的比较中表现出了优势。

比如 HaptX 的方案中每根手指一个自由度,基于电机实现;实验室的方案自由度占优(实现对手渲染不了的手部抓取力),在重量、体积上也占优。Dexta 的方案中每根手指一个自由度(位于指跟),基于舵机实现;实验室的方案自由度占优,同时重量、体积相当。Meta 的方案中每根手指一个自由度,基于分部在手指内表面的可冲方气囊实现;实验室的方案自由度占优,控制频率占绝对优势(气动频率在 10-15Hz)。

动压觉结合任重道远

此外,动压觉结合能够提供真实沉浸的触觉渲染。但遗憾的是,现有绝大部分触觉反馈设备只针对动觉或者压觉的其中一种, 仅有若干领先的产品原型可以实现较为完整的动压觉混合。并且,当前市场上尚无任何一家公司推出兼具动觉与压觉的交互产品。

腾讯 Robotics X 实验室在动觉和压觉反馈执行器方面给出了自己的解决方案,在自由度等指标上实现了行业领先的表现。作为机器人执行抓握等任务的末端机构,执行器需要全方位考量施加压力、有效载荷、空间限制等因素。此外,更高效地实现执行器与传感器之间的协同工作也是机器人顺利完成复杂任务的重要保证。最后,将动压觉结合的工作从原型阶段跨越到现实应用也是行业未来发力的重点。

更多技术细节内容将在后续论文解读中发布,或请参阅原论文。

参考链接:
https://www.eet-china.com/mp/a94384.html
https://cloud.tencent.com/developer/news/692662
https://www.jiqizhixin.com/articles/2020-09-08-11
https://hanspub.org/journal/PaperInformation.aspx?paperID=50288

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

登录查看更多
1

相关内容

中科院自动化所徐波团队最新《视觉-语言预训练》综述
专知会员服务
66+阅读 · 2022年2月23日
专知会员服务
46+阅读 · 2021年10月10日
能感受到微生物,比指尖更灵敏的人造皮肤来了
机器之心
0+阅读 · 2022年5月28日
脸书Meta公开了一款神奇的元宇宙硬件:一个手套
机器之心
1+阅读 · 2021年11月17日
自动化所团队提出视触觉传感技术新路线!让机器人拥有更敏锐触觉
中国科学院自动化研究所
3+阅读 · 2021年9月10日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年2月2日
Arxiv
66+阅读 · 2022年4月13日
3D Deep Learning on Medical Images: A Review
Arxiv
12+阅读 · 2020年4月1日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Arxiv
25+阅读 · 2018年1月24日
VIP会员
相关VIP内容
中科院自动化所徐波团队最新《视觉-语言预训练》综述
专知会员服务
66+阅读 · 2022年2月23日
专知会员服务
46+阅读 · 2021年10月10日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员