最聪明玻璃诞生：以光散射为核心算法，无需耗电，可识别数字 | 专访
加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击文末“阅读原文”立刻申请入群~
作者：孙滔
本文授权转载自公众号
DeepTech深科技
这大概是世界上最聪明的一块玻璃，它可以用来识别数字，并且无需耗电，也不用传感器，只要光亮即可。
这个玻璃 AI 研究将人工智能嵌入了一个非计算机的物理装置中，自带科幻色彩。它能够实时区分手写数字，也就是说，一块小小的玻璃实现了传统 AI 的相机、传感器和深度神经网络的功能整合。当数字变换时，系统能及时作出反馈。
该研究来自威斯康星大学麦迪逊分校电子及计算机工程系副教授喻宗夫（ZongFu YU）团队，研究以封面形式发表在 7 月 8 日的光学期刊 Photonics Research 上。
核心算法：光的散射
光学神经计算最重要的特点是，几乎不消耗能量，且因其有内在的并行性可大大加快计算速度。与此前光学神经计算不同，喻宗夫团队的研究没有遵循数字神经网络架构，也不采用分层前馈网络，而是利用光学反射连接各个激活单元。正是这种光反射作为反馈机制，从而导致了丰富的波动结果。
这是一种无需分层的连续人工神经计算系统。这套系统利用了特意嵌入玻璃中的石墨烯和小气泡。当目标图像的光线穿过玻璃 AI 时，其路径就会被这些气泡和石墨烯反射或折射而造成弯曲，弯曲后的光线会聚焦到玻璃另一侧 10 个点中的某个点上。
图丨玻璃 AI 的原理。（a）传统的人工神经网络架构，其中信息只能向前传播; （b）玻璃 AI 系统的光学神经网络，采用通过具有线性和非线性散射体的光进行神经计算。（来源：喻宗夫）
这 10 个点对应了从 0 到 9 这 10 个数字。就像一把钥匙开一把锁，如果某个数字的光线没有对焦到相应的数字，研究者就调整系统中的杂质大小和位置。研究者对此进行了成千上万次训练，最终玻璃 AI 学会了精确的数字对应。即使手写数字风格不同，这套系统也能准确聚焦、识别。
这是一种以简单结构获得复杂行为表现的研究。在机器学习的过程中，研究人员训练的是物理材料，而不是数字代码。也就是说，光传播的波动力学实现了人工神经计算的功能。相对于数字计算，这是颠覆性的观念。
研究人员认为，这套系统在现实中的应用还不确定，但理论上可以制作成生物识别锁，进行人脸识别。只是这个系统还缺乏计算上的灵活性，以及面对多线程或不同的任务。
显然，这个玻璃 AI 看起来和我们此前认识的 AI 系统不一样，它为何会被称为 AI 系统？这个系统有人脸识别的潜力吗？研究者下一步会如何开发这个系统？带着诸多问题，DeepTech 专访了作者喻宗夫。
模糊识别很难，是 AI 的体现
能不能介绍你们课题组的工作内容以及你们的研究目标？利用光来做 AI 系统，这个思路是怎么产生的？
喻宗夫：我们希望在纳米光学技术和机器学习的交叉口创新，希望对光敏材料、传感器件、光学成像系统和机器学习全栈优化。以前硬件和软件的研究比较分立，我们希望把软硬件看作一个整体，以具体应用为目标导向，从新整体考虑视觉感知。在这个大方向下面，我们组成员们展开思路，不拘泥于现有光感、成像、识别的架构体系，于是 Erfan 和其他组员就想出了这个点子。
与其他的光计算相比，你们这个研究是怎样的特点？
喻宗夫：以前的光计算本质上还是数字计算，只是把电子换成了光子，从电路改成了光路。用光作为载体来计算有几十年历史了，这次我们利用的是结构材料本身特性。
首先第一点，我们的玻璃 AI 不存在以前神经网络的分层概念，它整个就是一体化的。另外，我们整个优化方法的过程也不是按照模拟数字神经网络的思路，而是优化麦克斯韦方程，去控制光的物理散射过程。
从实现的结果上来说更不一样。就是说我这个装置可以做得非常小，也不需要用任何能量，因为以前的结构需要分层，体积和能耗就比较大。
这个玻璃 AI 看起来和我们此前认识的 AI 系统不一样，它为何会被称为 AI 系统？能不能说，这只是一套数字密码系统？
喻宗夫：模式识别是典型的 AI 应用。这和密码系统完全相反，我们需要这个玻璃有很大的容错性：一个数字谁来写，都要认出来，这种模糊识别很难，是 AI 的体现。 相反，密码则要一个比特也不能差，却容易实现多了。
这个 AI 系统与计算机是什么关系呢？该系统的训练学习过程是一个调整玻璃内石墨烯杂质的过程，而不是其他 AI 系统那样在计算机输入数据、在终端输出结果那样的过程，对吗？
喻宗夫：光在玻璃里面传播就是一个偏微分方程控制的波动过程，而神经网络和偏微分方程有很大的相似性。我们利用这种相似性，以波动方程为载体实现神经网络的计算效果。
光打到玻璃里的小孔上，就会被散射开。小孔就像数字神经网络里的节点，它们把输入混合起来，产生输出。我们这个训练过程，就要去做和神经网络一样的梯度下降，去调整玻璃里面的小孔和非线性材料的位置与大小。
这个思路很出奇，做出这样的系统需要哪些研究基础呢？
喻宗夫：其实做这个事情需要很多领域的配合。我们不是仅仅把数字改换成光子，我们还要去解电磁场方程。所以对机器学习、电磁场方程这两块领域都要熟悉。 我们希望在这个交叉领域继续研究创新。
似乎这个 AI 系统不需要那么巨量规模的训练，是这样理解吗？
喻宗夫：不是，我们也需要很多训练。因为这个是在电磁场介质里面传播，我们要仿真整个电磁场传播的过程，然后在这个基础上要对偏微分方程整体做优化，所以计算量其实是非常大的。我们用的是机器学习的方法，但解的是电磁场的优化问题，所以这两块结合起来很有挑战，需要从头写整个训练工具。
视频 | 玻璃 AI 的二维图像识别（来源：喻宗夫）
视频 | 玻璃 AI 的三维图像识别（来源：喻宗夫）
一个新的概念
这个研究是一个怎么定位？是技术的突破，还是说创造了一个新的工具？
喻宗夫：我觉得这是一种新的概念。我们是用玻璃本身来实现人工智能的计算，而以前的人工智能都是用计算机完成的，那么现在是利用非数字模拟的物理作用就可以实现这件事情，所以说在这方面是一个突破。如此引申的话，很多其他物理作业比如声波也可以这样操作。
能说这是一个计算机吗？
喻宗夫：对。通用的计算机可以做很多事情，我们这个系统只能做一件事情，所以在这一点上它跟计算机是有差别的。但是目前来说，计算机的发展也渐渐地趋向于只做一件事情。比如说挖比特币的矿机。
我觉得，这个不是为了取代已有的图像识别系统，更多的可能是一些更广阔、以前没有应用的方式。比如说，虽然说我们现在有了数字锁，但是没电或者断网就不能用。我们这个人脸识别锁就像传统物理锁，只要有钥匙它就一直可以用。
所以可能是在这种更加特殊的时候，如果你担心 AI 系统被攻击的话，那么这个系统完全没有可能从外界去攻击或干扰，它对安全性很有保障。
除了数字识别，这个系统如果用来开发人脸识别的话，还需要做哪些工作？以及其挑战有多大？
喻宗夫：人脸识别在概念上的可行性已经可以通过现在的工作证明。人脸识别的应用需要不少工程工作，可能超出一个学术问题了。比如训练的样本的光场建模需要大量的计算。
你们下一步会如何开发这个系统？这个系统将来如何能便捷应用到普通民众中，能成为一款便携式的智能产品吗？
喻宗夫：这个概念为我们自己打开了一个思路：不一定要有数字和芯片才能智能。智能可以无所不在，我们称之为物理驱动智能。 我们今天证明玻璃可以识别图像，就是麦克斯韦电磁场定律赋予的。还有很多物品可以利用物理定律的来智能化。
数字芯片是人类的智能产品，物理定律的智能产品一定更广阔。我们觉得利用物理来做智能计算很有意思，而且有广泛的应用价值。
专家点评：
阮智超（浙江大学物理学系教授）：本研究原创性较高，与 2018 年一篇 Science 研究有异曲同工之妙，后者创造了一种 3D 打印的全光学衍射深度神经网络架构。在喻宗夫研究中，如要应用到如人脸识别等复杂场景，需要进行复杂的调参，这对于这种玻璃 AI 装置有挑战性。
喻宗夫简介：
喻宗夫（ZongFu YU），威斯康星大学麦迪逊分校电子及计算机工程系副教授。2004 年本科毕业于中国科学技术大学物理学系，博士毕业于美国斯坦福大学，主要研究领域是微纳光子学、机器视觉和新能源。他是非互易纳米光子学开创人之一，提出了纳米太阳能电池的效率理论，并开发了多模视觉相机，应用于下一代的机器视觉。
（感谢清华大学计算机系自然语言处理实验室副教授刘知远对本文提出意见。）
参考：
https://www.osapublishing.org/prj/abstract.cfm?uri=prj-7-8-823
https://www.newscientist.com/article/2208975-ai-made-from-a-sheet-of-glass-can-recognise-numbers-just-by-looking/
https://news.wisc.edu/simple-smart-glass-reveals-the-future-of-artificial-vision/
-完-
*延伸阅读
点击左下角“阅读原文”，即可申请加入极市目标跟踪、目标检测、工业检测、人脸方向、视觉竞赛等技术交流群，更有每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流，一起来让思想之光照的更远吧~
△长按关注极市平台
觉得有用麻烦给个在看啦~
相关内容
微信扫码咨询专知VIP会员