智能手机的创新用法：识别物体表面材料！

会员服务 ·

智能手机的创新用法：识别物体表面材料！

2017 年 9 月 5 日 IntelligentThings John

导读

最近，英国圣安德鲁斯大学的研究人员发明了一项基于智能手机摄像头的创新技术，它再一次革新了智能手机的用途，让手机可以识别其所在物体表面是由何种材料制成的。

关键字

摄像头、智能手机、应用程序

背景

智能手机是人们最频繁使用的一款消费电子产品，而摄像头又是经常被人使用的智能手机部件之一。通常来说，摄像头可以用来拍照片和录视频，记录下我们生活的精彩瞬间。

然而，除了以上这些功能，摄像头作为一种传感器，还有更多让我们意想不到的功用。笔者曾经介绍过一些案例，美国华盛顿大学的研究人员开发出一种智能手机应用程序，你只需用智能手机摄像头拍一张自拍照，然后它就可以帮你简单地筛查胰腺癌及其他疾病。

（图片来源：Dennis Wise / 华盛顿大学）

另外，美国麻省理工学院和乔治亚大学的研究人员也使用一个软件，配合机器学习技术，使用普通的智能手机前置摄像头，构建了一个眼球追踪系统。

（图片来源于：Christine Daniloff/麻省理工学院）

创新

最近，英国圣安德鲁斯大学的研究人员又发明了一项基于智能手机摄像头的创新技术，它再一次革新了智能手机的用途，让手机可以识别其所在物体表面是由何种材料制成的。

这项研究将在久负盛名的第19界人机交互与移动设备和服务的国际会议： ACM SIGCHI MobileHCI 2017 上展示，这次会议将于9月6日在奥地利维也纳召开。论文“SpeCam：通过移动设备前置摄像头感知表面颜色和材料”（SpeCam: Sensing Surface Color and Material with the Front-Facing Camera of a Mobile Device）已经获取 MobileHCI 的佳作奖。只有5篇论文获取这个奖，它便是其中之一。

技术

这项技术可以称为“SpeCam”。它是一种应用程序，让现有的手机利用摄像头功能识别不同的材料。它还和之前创建的数据库联系，让智能手机知道自己位于何种物体表面之上。

SpeCam 系统所采用的硬件是智能手机上现成的，所以它只需通过软件升级或者应用程序下载，就可以实现。

SpeCam 巧妙地使用智能手机的显示屏作为多光谱光源，利用前置摄像头捕捉手机正面朝下放置时，所位于的材料反射的光线。SpeCam 应用程序让屏幕在不同颜色之间快速循环，向物体发出不同颜色的光线，检测材料并且推断设备的位置或者放置的地方。

在下图中，(a) 表示智能手机正面朝下放置在物体表面上，而屏幕发出不同颜色的光线，摄像头捕捉反射光线的图像。(b) 表示手机的UI，展示主要的光源和捕捉到的图像。 (c) 分类服务器的UI，顶部显示接收到的图像和分类结果，提取到的特征（颜色柱状图、梯度变化曲线）。 (d) 用于案例研究的不同长度的手机壳。

（图片来源于：圣安德鲁斯大学）

下面我们通过几张图片，展示一下研究人员在实验室利用这项技术识别不同物体表面材料的情况：

（图片来源于：圣安德鲁斯大学）

价值

这项创新可以带来各式各样的新应用。首先，SpeCam 可以作为一种新型的材料检测传感器，典型的应用就是作为颜色选择器，从真实世界中挑选颜色或者材质，并应用于绘画方面的程序。

此外，它还可以用于人机交互方面，例如：当你找不到手机时，智能手机可以告诉你它现在的位置；还可以让不同的物体表面作为触发动作，用于编程，比方说，如果智能手机正面朝下放在你的笔记本电脑上，当铃声响起时，它将会发出一条信息说：“对不起，我正在会议中。”

这个应用程序可以改变手机执行任务的方式，例如放在电视上，手机将会改变自身音量；如果放在沙发上，将播放特定的音乐，例如软爵士；如果放在咖啡桌子上时，将播放舞曲。首席研究员 Aaron Quigley 表示：

“这是一个很好的例子，我们称之为谨慎的计算或者谨慎的交互，微妙以及不显眼的用户动作将带来全新的交互方式。通过训练，它将识别我们周围所有物体的表面材料，成为我们想象力的画布。”

参考资料

【1】https://www.st-andrews.ac.uk/news/archive/2017/title,1550872,en.php

【2】Hui-Shyong Yeo et al. SpeCam, Proceedings of the 19th International Conference on Human-Computer Interaction with Mobile Devices and Services - MobileHCI '17 (2017). DOI: 10.1145/3098279.3098541