MIT发明10美元AI触觉手套：既能识别物体，又能称重

2019 年 6 月 6 日 大数据文摘

大数据文摘出品

编译：橡树_hiangsug、曹培信

对人类的感知觉能力（如视觉、听觉和触觉）的研究和复制往往取决于相关数据的可用性，数据集越大越丰富，模型的性能越高。

人工视觉和语音系统的进步依赖于深度学习模型，并且由无处不在的数字图像和语音音频数据库推动。

相比之下，由于将电子设备集成到柔性材料中的难度较大，触觉传感器（将物理接触刺激转换为可测量信号的设备）的发展受限。MIT人工智能实验室(CSAIL)的Subramanian Sundaram等研究人员，开发了一种低成本的触觉手套，为这一问题提供了一条可能的解决方案。

论文地址：

https://www.nature.com/articles/s41586-019-1234-z

该手套由一个手形传感套管组成，连接在针织手套的手掌侧（图1）。套筒包含力敏膜，膜上缝制了64个导电线网络（沿手套的一个方向32个，沿其垂直方向32个）。这些螺纹重叠的548个点中配置了压力传感器，当按压这些点时，交错膜的电阻便会减小。手套的输出可以作为32×32灰度像素阵列处理，其中每个像素的颜色表示从低（黑色）到高（白色）的施加压力，以每秒约七帧的速度记录压力图。

图1 | 低成本的触觉采集手套。Sundaram 等人描述了一种手套，由附接到针织手套（黄色）的手形感测套筒（黑色）组成。套筒包含力敏膜，在该膜上缝制导电线（银）网络。这些螺纹重叠的点形成压力传感器。作者表明，在对象操作期间由这些传感器收集的压力图使机器学习模型能够学习识别单个对象，估计对象的权重并区分不同的手部姿势。

Sundaram及其同事在研究中使用手套记录了几个压力图的视频，采集了3-5个单独操作26个日常物品的过程。通过这个程序产生了一个精密压力图数据库（据我所知，这已经是最大的数据集之一）。作者发现，尽管制造成本仅为10美元左右，但手套具有柔韧性，坚固性和对小压力变化的敏感性。

为了证明手套捕获手与每个物体的不同相互作用，Sundaram 等人使用记录的数据进行自动物体识别。他们将采集的数据训练用于大规模图像分类的深度学习模型，以便在盲操作期间重新识别26个物体。结果证明，图数据的量及其空间分辨率对于成功识别物体至关重要。

使用可伸缩的触觉手套学习人类抓握的特征

接下来，作者使用手套拾取物体，并表明类似的深度学习模型可以估计未知物体的重量。即便在不同的手部姿势下佩戴手套，传感器读取的信号都足以详细地区分每个姿势。最后，Sundaram及其同事通过观察信号相关性分析了在物体抓取过程中不同手区域之间的协作关系。

除了提供人类掌握的充分研究原理的实验证据之外，这种数据驱动的探索可以提高我们对物体操纵过程中触摸功能的理解。深度学习模型极大地提高了我们对视觉对象识别的神经机制的认识。从这一角度来讲，类似的方法可以应用于解释大脑中的触觉信息处理。

触觉手套抓起一个咖啡杯产生的交互

Sundaram及其同事在物体操纵过程中同时产生压力图和相应的手部照片，产生大量同步的视觉和触觉信息。多种形式的感官知觉的数据集是不常见的，蕴含了多感觉整合系统发展的基本步骤以及大脑对环境的连贯感知的理解。

这种柔性传感装置可具有各种应用场景，例如，在医疗诊断，个人健康护理和运动中，甚至可能影响活动（外部动力）假肢和机器人手的发展。触觉反馈在控制手部运动和施加力道起到了至关重要的作用，这些信息的缺乏使得人类和机器人无法实现稳定的抓握。此外，触觉直接实现了针对物体识别和定位的触觉探索。众所周知，提供具有触觉反馈的活动假体可以有助于减轻幻肢痛（从肢体缺失的感觉），增加对假体的融入性，减少控制装置所涉及的认知压力，实现更自然的操作。