北大黄铁军：神经形态芯片大规模应用材料是关键，未来几年将影响AI | CNCC 2019

神经形态计算到底是不是可实现？什么时候才会爆发？

作者 | 包永刚

编辑 | Pita　

AI、量子计算、神经形态计算都是当下的热词，但他们并非全新的技术。这些几十年前就被提出的技术，因为各种因素的限制，至今仍未达到相对理想的状态。在这三者中，AI目前最为火热，其中很重要的原因是深度神经网络的突破。那么，神经形态计算到底是不是可实现？什么时候才会爆发？业内专家北京大学信息科学技术学院教授，北京智源人工智能研究院院长黄铁军给出了非常明确的答案。

  神经形态芯片是一个必然的发展方向   

在AI技术发展的潮起潮落中，既有坚定的支持者，也有众多的质疑，质疑者认为AI只是技术狂人无法实现的理想。对于还未看到商业应用的神经形态计算来说，自20世纪80年代，当时传奇的加州理工学院教授Carver Mead提出采用晶体管亚阈值态模拟生物神经元细胞的功能以来，也一直面对众多质疑。

这其中有很多种因素。 主要研究方向为智能视觉信息处理与类脑智能的黄铁军教授接受雷锋网专访时表示，神经形态芯片有别于现在常见芯片，涉及到信息处理方式的根本转换，愿意在新方向尝试、创新以及冒险的人比较少。特别是在国内，神经形态的研究10年前才开始，比国外晚了20年，愿意探索新方案的人更少。

北京大学信息科学技术学院教授，北京智源人工智能研究院院长黄铁军博士 

参与神经形态研究的人比较少，再加上许多研究人员开展相关研究是觉得神经形态很有意义，主要是享受研究过程，而很少考虑如何去应用或实现商业化。外界既看不到应用，出现质疑的声音难以避免。

黄铁军指出：“全球范围内神经形态研究的现状如此。不过，我们可以从两个角度去看这个问题，从学术角度看，一项技术研究几十年，然后一夜之间突然爆发的例子非常多，比如深度学习。从商业角度看，应用落地需要很多条件，需要一个能够展现新技术优势的契机，仅仅因为还没有看到应用就开始质疑是不符合科技发展规律。可以肯定地说，神经形态计算是一个必然的发展方向。”

说神经形态计算是必然的发展方向不无道理，因为神经形态计算在某种意义上超越了经典计算的概念。例如，机器视觉是先获得的图像或图像序列（视频），然后再用算法去做目标分割和检测。这与生物感知世界的过程恰恰相反，生物视觉是先检测到一个物体，先感知到一个运动物体在靠近，再去识别它是什么，而且这个过程不必非要归结为计算过程。

按照黄铁军的解释，神经形态计算的“计算”并非经典的计算，把这个方向称为神经形态信息处理更合适，它是将外界的时空信号转换成神经脉冲，然后经神经网络加工产生结果。 这种方式比传统计算方式在处理时空信息的时候更直接，可以节省掉很多不必要的算力。另外，抛弃传统计算，用光电器件直接进行信息处理，可以比生物神经网络速度更快，实现千倍乃至更多数量级的提升。

  神经形态芯片研究难在哪？   

既然神经形态计算是一个必然的发展方向，相比传统计算方式处理时空信息也有着显著的优势，但为何外界没有看到巨大的突破？ 黄铁军指出，时空信息处理的复杂度比传统的冯诺依曼计算架构的串流形式更复杂，比并行计算也更为复杂。这是因为，串行方式可控性相对比较好，但是时空信息中，脉冲之间的时间和空间关系不仅要维持，还要变换，不像经典计算那样是个严格可控的过程，一旦前面出错，后面结果很可能完全不对。

另外，就像计算机视觉需要摄像头作为外设搭配CPU、GPU或其它处理器进行处理。神经形态计算也需要感知芯片和处理芯片，感知芯片负责采集各种物理和化学信号，处理芯片把获得的脉冲序列进行加工。

但无论哪种芯片都面临着挑战。黄铁军指出，神经形态感知芯片需要采集和感知不同类型的信号。目前光的感知和采集不是大问题，但对于其他信号的采集，比如触觉和味觉，虽然可以探测，但是要以一种阵列方式精细地感知还有一定挑战。简而言之，神经形态感知芯片的重要挑战在于物理化学信号的高精度高效采集。

神经形态装置（包含传感和处理等）的工程涉及开发其功能类似于大脑部分的组件

至于神经形态处理器，要处理神经脉冲序列就需要根据不同的任务，构建类似于生物的神经网络，这本身就比传统的网络构建难度更大，要知道深度学习也探索了几十年，最后才找到一个模型能解决问题。另外，生物的神经系统包含大量神经元和突触，神经形态就是要用光电器件模拟生物的神经单元和结构。目前是采用比较复杂的电路来实现，业界还在寻找各种功能材料，直接实现类似生物神经元或神经突触的功能，它不再是一个电路，而是一个物理器件，这样才能以与生物相当或更小的尺度实现大规模神经形态网络。

这也是目前神经形态芯片研究的一个热点，现在已经找到了一些材料，但还不够成熟。一旦材料上有了突破，神经形态的大规模应用才能迎来大规模的商业化。

从公开资料看，神经形态计算方面英特尔取得了不错的进展，英特尔7月宣布代号为“Pohoiki Beach”的800万神经元神经形态系统已经可以供广大研究人员使用，它包含64块Loihi研究芯片。

虽然相比鼠脑数千万神经元和人脑数百亿神经元还相差甚远，但黄铁军教授认为能够做到800万神经元已经不错了，Pohoiki Beach是一个非常重要的阶段性成果。不过要用到小型智能系统里还是太大。

图中是一块连接到Arria 10 FPGA开发工具包的英特尔Nahuku基板，每块基板包含8到32块英特尔Loihi神经拟态芯片。英特尔最新的神经拟态系统Pohoiki Beach由多块Nahuku基板组成，含64块Loihi芯片

从英特尔公布的照片看，由多块Nahuku基板组成的Pohoiki Beach因为体积的问题确实还不太适合应用于小型智能系统，但确实是神经形态研究的重要里程碑，我们可以期待英特尔研究院将这个架构扩展到1亿个神经元。

  神经形态芯片未来几年将影响AI   

随着神经形态研究的推进，应用也将会落地。黄铁军在采访中多次指出，一个新技术要落地，需要有比传统方法解决问题明显的优势，这种优势要不可替代性才能够快速导入应用。深度学习就是一个例子，2006年深度学习论文发表在顶级学术期刊《Science》上，但没有商业化和应用。2011年，有学者用深度学习的方法处理语言和图像，比传统方法好一些，但也只是在学术圈觉得有意义，直到2012年，深度学习算法在ImageNet LSVRC比赛中把性能陡然提高了11%，深度学习才广受关注并被应用。

那神经形态芯片会在哪些领域有这样的契机？视觉是一个很好的机会 ，神经形态视觉芯片采集速度可以达到常规方法的1000倍，如果用传统方法加上传统视频摄像头和传统处理器，每秒要处理3万幅图像，计算性能比常规视频需要提高1000倍，成本和芯片体积都是很大的问题。但神经形态芯片一个芯片就可以解决。

比如，黄铁军教授和他的团队研制的超速全时视觉芯片SpikeOne，空间分辨率为400×250（10 万像素），最大脉冲发放频率为4万Hz，即最小时间分辨率为25 μs ，时间灵敏度相当于传统4万帧的专用摄像设备，功耗只有350mW。

超速全时视觉芯片（SpikeOne）与成像系统

超速全时视觉芯片SpikeOne是一种典型的神经形态感知芯片，能够像灵长类生物眼睛一样感知光线变化并编码为高速脉冲序列。“全时”（full time）是指从芯片采集的脉冲序列中重构出任意时刻的画面，从而实现连续视觉感知。“超速”是相对于生物视觉而言的，生物视觉系统受限于生理限制，每秒发放的神经脉冲数只有几十个，“电眼”采用光电器件，脉冲发放频率达到万赫兹乃至更高。

采用SpikeOne 芯片的成像系统对实时采集的脉冲阵列数据，一方面可以接入神经网络进行视觉分析任务，如字符识别和对象检测等；另一方面，利用图像重构软件可以实时地显示当前场景的脉冲和纹理图像。对高速运动敏感，并能精细恢复场景图像，能够用于高速运动物体的检测、跟踪和识别，在自动驾驶、无人机控制、机器人视觉等领域的应用潜力巨大。

优势和潜力巨大，是否意味着脉冲神经网络是目前深度神经网络的必然继承者？黄铁军认为这种观点太绝对，但他对这种观点持乐观态度，因为人工智能系统如果要对时空信息的变化作出感知并采取相应的行动，神经形态方法有天然的优势。在这个意义上，神经形态芯片将会对人工智能产生非常大的影响。

我们此前报道，8月刊《自然》（Nature）封面文章是清华大学施路平教授团队的新型AI芯片，它结合了类脑计算和基于计算机科学的人工智能。也就是将脉冲神经网络（SNN）和人工神经网络（ANN）进行了融合。因为在一些应用中，比如识别，目前ANN可以做的更好，所以现在用ANN和SNN融合是一个合理的方案。

对于神经形态计算最终将如何影响AI的问题，黄铁军教授认为，类似无人驾驶视觉系统的应用对神经形态的需求在增加。神经形态芯片与AI结合展现出的巨大优势在最近几年就能体现出来。例如，神经形态传感器和神经形态处理器有效配合，实现高速状态下远超生物的视觉感知，采用现有人工智能方法几乎不可能实现，即使实现代价也难以承受，但对神经形态芯片来说却并非难事。

2019 年10月17-19日，2019 中国计算机大会(CNCC 2019)将在苏州金鸡湖国际会议中心举办，由中国计算机学会 (CCF) 主办，苏州工业园区管委会承办。今年的大会主题为「智能+引领社会发展 (AI+ Leading the Development of Society)」，大会包含了：十五位国内外计算机领域知名专家、企业家的大会报告、三场大会主题论坛，七十余场前沿技术论坛，二十场特色活动，以及一百个科技成果展。

其中三个大会论坛主要围绕互联网 50 年、工业互联网、深度学习三个主题展开讨论。七十余场技术论坛由内容丰富、形式多样的多个计算领域的热点主题组成，如人工智能、大数据、区块链、量子计算、神经形态计算、工业互联网、信息安全、健康医疗、教育教学等。

黄铁军教授将担任CNCC 2019 第二届神经形态芯片与计算机论坛的主席，与中科院计算所副研究员赵地，“青年千人计划”特聘教授、四川大学计算机学院类脑计算研究中心主任、国际会议程序委员会主席、IEEE计算智能学会教育分委会主席唐华锦，中科院计算所研究员、博导、智能处理器研究中心主任陈云霁，清华大学电子工程系长聘教授汪玉，中国科学院半导体所研究员、中国科学院大学教授、中国科技大学兼职教授吴南健，中国科学院自动化研究所研究员、类脑智能研究中心副主任、中国科学院脑科学与智能技术卓越创新中心青年骨干、中国科学院大学岗位教授曾毅，清华大学脑与智能实验室及医学院生物医学工程系、清华类脑研究中心、麦戈文脑研究中心，研究员、博士生导师宋森共同探讨国内神经形态的发展，精彩不容错过。

更多详情请参见 CNCC 官网：  https://cncc.ccf.org.cn/ 

  点击 阅读原文 ，查看：NLP系列文章：子词嵌入(fastText)的理解！(附代码)