中科院计算所陈云霁：深度学习芯片剩下的只是工程问题，我们要起航探索新方向

2019 年 11 月 10 日 AI科技评论

作者 | Camel

编辑 | 唐里

陈云霁，是一位80后，但却是智能芯片研究的领军人物。

在9月中旬，北京智源人工智能研究院曾举办“智能体系架构与芯片”重大研究方向的发布会，发布会上宣布中科院计算所陈云霁研究员将担任这个方面的首席科学家，带领 9 位智源研究员（PI）与 6 位智源青年科学家共同探索面向未来的高效能、通用智能处理器。

在10 月 31 日北京智源人工智能研究院举办的首届“智源大会”上，陈云霁再次就该重大研究方向接受 AI科技评论等媒体采访。

陈云霁

陈云霁，中科院计算所智能处理器研究中心研究员，主任，博导。研究方向为机器学习处理器，在深度学习处理器领域获得了突出成绩。拥有30余项已授权的发明专利，发表或录用学术论文100余篇，其中CCF A类顶级会议/期刊论文34篇（大部分为一作或通讯作者）。2016~2018的CCF A类会议ISCA平均有近1/4的论文引用他的论文从事深度学习处理器的研制。曾获中国青年科技奖、国家万人计划“青年拔尖人才”、国家自然科学基金“优秀青年基金”、中国计算机学会青年科学家奖、中国计算机学会科学技术一等奖（第一完成人）等荣誉。

陈云霁表示工业时代以发动机为时代发展的核心物质载体，带动社会进步；信息时代则是以CPU为核心物质载体；我们即将进入一个智能的时代，那么我们必须去探索智能时代的核心物质载体，即智能计算系统。

在他的带领下，智源的9位研究员与6位青年科学家将去探索四个方向的研究，包括智能整机、编译语言与编译、智能芯片以及设计方法学。16位研究人员的研究规划如下图所示：

陈云霁是深度学习处理器的开拓者，但他表示深度学习处理器本身的科学问题已经相对比较清晰，后面更多的是工程问题，而非科学问题；而他们作为智源学者所要做的是去发现更新的科学研究方向，解决新的科学问题。

此外谈到类脑芯片是否是冯诺依曼架构这个问题时，陈云霁表示，我们应当去阅读冯诺依曼在1945年写的那个报告原文，在原文中冯诺依曼曾花费十几章来论证一个问题，即整个冯诺依曼机可以用神经元来搭建。因此未来的类脑芯片是否是冯诺依曼架构，需要就事而论。

以下是陈云霁研究员的具体谈话，AI 科技评论进行了不改变原意的编辑，内容未经本人确认——

（参与媒体：AI 科技评论、CSDN、财新网、智东西）

智能时代的物质载体

陈云霁： 各位朋友好！我是中国科学院计算技术研究所的陈云霁。我们代表的方向是智源人工智能研究院成立的第三个重大研究方向——智能体系架构与芯片。与其他几个方向不太一样的是，我们这个方向更多是偏向硬件和系统，其他的方向相对来说更偏向算法、应用层面。某种意义上来说，我们在智源研究体系里面是最底层、最基础的。

事实上，智能计算系统对于整个人工智能发展来说都是非常关键的。我们可能都是唯物主义者，工业时代必须要有自己的核心物质载体，就是发动机；信息时代需要有CPU作为核心物质载体；智能时代也要有自己的核心物质载体，我们认为智能计算系统就是智能时代的核心物质载体。因此智源研究院设置这样一个方向专门来做这块研究，是非常有必要的。

我们这个方向大概有制定了四个层面的研究：

第一个是最上层的智能整机，相当于一个完整的智能计算机交付给大家；
第二层面是编程语言和编译，我们怎么去写智能程序，用什么样的语言编写这样的智能程序，写出来的智能程序又怎么编译到智能芯片，让智能芯片能理解；
第三个层面就是做各种各样具体的智能芯片，我们大概布局了四种智能芯片的研究；
最底层是智能芯片的设计方法学的研究，说白了是研究怎么能够快速用开源工具设计出新的智能芯片。

我们这个方向有10个PI，主要是来自于清华、北大、中科院；还有5位青年科学家，也是来自清华、北大和中科院。总体情况就是这样。

探索新方向

问：之前有记者采访孙茂松教授，他提到现在“深度学习碰壁了，面临一个困境”。您怎么看待这个观点，以及这会对您在深度学习处理器的研究上有什么影响？

陈云霁： 孙老师讲的是很有道理的，学术研究的角度上看，深度学习的边界已经相对比较清楚了，它能干什么，不能干什么，现在大家开始有一些感觉了。比如很多高级认知功能，推理、联想、创造等，深度学习似乎都很难解决。当然不排除未来有变革，但目前深度学习方法都不能完全解决这些问题。

因此，智源研究院应该去探索一些更新的东西，智源并不是一个企业的研究院或者说甚至并不像科技部。智源需要有更大的勇气和决心去探索更前瞻的、对于我们整个人类来说都是未知的东西。在我们布局智能体系架构与芯片的研究方向中，我们10个PI在4个层面上进行的研究，某种意义上来说没有把深度学习处理器的研究当成主要的研究内容。

在我看来深度学习处理器本身的科学问题相对已经比较清晰了，后面更多的是工程上的问题。而我们智源要去做的事情，应该是去发现新的科学问题、新的科学方向，解决新的科学问题。在这个层面上，我们希望探索的是未来十年，我们有没有可能设计出新的类型的智能体系架构，不仅仅是能效比今天寒武纪或者其他的智能芯片高10倍、100倍，更重要的是它能解决更广阔的人工智能应用。它不仅仅是解决深度学习的任务，还应该解决更广阔的其他机器学习方法，包括贝叶斯网络、决策树、深度学习，甚至说它能够更高效地去解决刚才我讲的那些高级认知类的功能，推理、联想、创造等。

只有把这样的芯片做出来，我们才能说这个芯片是未来能够在我们通往强人工智能道路上发挥关键作用的芯片。这也是我们这个方向里面10个PI一起讨论凝练出来的目标，我们自己也觉得这样的目标对于我们做基础研究的人来说是比较激动人心的。

四类智能芯片

问：您提到布局了四种智能芯片的研究，能不能详细解释一下哪四种？

陈云霁： 这里面有四个方面：

第一，类脑的智能芯片。大家都知道前段时间有一个非常有影响力的工作，清华大学施路平教授做的类脑芯片的工作，发表在Nature的封面上。这说明北京在这个方向，在国际上都是处于一个比较前列的地位。我们这里面四个方向中的第一个方向是类脑的智能芯片，希望我们的芯片能够像接近我们大脑工作机理去运转。

第二，机器学习处理器，我们过去对深度学习处理器（例如“寒武纪”芯片）有所了解，未来想做的机器学习处理器，不仅仅是深度学习，还能够进行贝叶斯、决策树、线性回归等更广阔的机器学习方法，都能够非常高效地处理。

第三，可重构的智能芯片。我们想未来十年、二十年，智能算法还会快速发展，以后产生出来的智能算法可能是我们今天闻所未闻，甚至是想都没有想到过的。如果我们未来的智能芯片不能支撑未来新的算法，业务面就会受限，我们想探索一种可重构的智能芯片的方法。它可以根据我们的应用需求，灵活地进行动态配置，去适配未来的算法。这样的话，未来不管智能算法怎么演进，我们的芯片都能够比较好地支撑。

第四，应用驱动的芯片。我们在日常生活中得到的信息都是时序信息。我们从外界得到的信息，一般都是视频序列和语音序列等。面向视频序列和语音序列的应用也非常多，我们想看看是否能够发展一类专门去处理时间序列信息的芯片。这是一类以应用为驱动的专门的芯片。

这四个方向要么是国际学术的前沿，要么就是未来很有潜力的学科增长点，要么是有非常实际的应用需求。但有一个共同点，它们都是在学术上相对比较前瞻的。

当时张宏江博士（智源研究院理事长）和黄铁军教授（智源研究院院长）最开始在跟我们说设置这个方向的时候，给我们的建议就是，现在企业已经能干的事情，已经能往产品做的事情，我们智源就不要去做了；因为这些已经有很多的投入，很多的人在做，我们要看更远的东西。

问：您提到的可重构智能计算架构与机器学习处理器之间有什么区别？

陈云霁： 我打一个不是很准确的比方。这两者都是希望实现通用，都是希望实现灵活性。

机器学习处理器的思路是乐高积木这样的思路，通过找到各种机器学习算法的最大公约数，形成一个指令级，用指令的拼接组合（就像用很多乐高积木的即插件）就可以拼出一个机器学习的算法。可能这个算法我没有见过，但是这个即插件只要设计的足够好，就能够拼出这个东西来。可重构的智能芯片类似橡皮泥这种模式，你根据自己的需求把这块橡皮泥捏出你想要的形状。

所以从某种角度上来说，机器学习处理器更像乐高积木，可重构处理器更像橡皮泥。橡皮泥有很小的颗粒，乐高积木的颗粒相对比较大。最后达到的效果是类似的。

问：您刚才提到四种芯片，具体来说您比较看好哪个芯片？

陈云霁： 这是很有意思的问题，这4个类型的芯片我觉得都挺有发展潜力的。而且事实上，我觉得未来智源如果不断地发展，完全有可能再出现支持第五类、第六类。基础研究的模式可能跟纯做大工程还不太一样。大工程，比如做一个原子弹，最后就是一个原子弹。基础研究要同时平行探索好几条路径，到底哪条路径能成功，需要时间来检验，这个过程中路径有可能分叉，也有可能有合并。

至于我看好哪一条，需要看长期还是短期。

长期来看，比如30年、40年或者50年，类脑这块是有很大的潜力。今天它发展的并不成熟，但是我想肯定是我们这方面做科学研究的终极目标。

如果从比较实际的角度来看，能够比较短期快速的从基础研究变成应用技术的，可能会是机器学习处理器。毕竟机器学习大家还是在广阔地使用。

可重构也非常有价值，包括时间序列的芯片，一定要我说哪一个最好，很难判断。今天可能我们判断这件事情为时太早，要有十年、二十年才能检验得出来。

通用与性能

问：您之前说芯片需要通用和灵活性兼具，包括您说的机器学习处理器，这些都是需要通用和灵活性兼具的。其实市场上有通用型的包括CPU、FPGA这种，您觉得未来更好的是哪个类型？

陈云霁： 产业方面我不是特别好判断。

从我们做基础研究的角度来说，做研究有一个研究的品味，我们会比较希望去做一些相对更通用的东西。一方面它要能效很高，另外我们也希望它尽可能通用。

计算机领域最重要的两个成果，一个是图灵机，一个是冯·诺依曼机，这是整个计算机最重要的两个成果。可能没有之三了，就是这两个。

它们都有很明显的特征，就是非常强调通用性。图灵机的架构本身就能够适应各种各样的问题，用一个简单的纸带加上读写头就可以解决各种各样的问题。冯·诺依曼机更是如此。世界上第一台计算机叫ENIAC，它很笨拙，解决完一个问题后，如果你想用它来解决另外一个问题，还需要吧各种各样的硬件线路拆下来重新连接；冯·诺依曼就提出了冯·诺依曼机，其核心思想就是存储程序，不用拆换线路，只要更换程序就可以达到同样的效果。

对于我们做计算机人来说，重视通用性是一种基因。我们未来如果要发展智能处理器或者智能芯片，我们必然会强调通用性。

此外从做研究的角度来看，通用性越好的东西，受到的关注也就越多。

类脑芯片是冯诺依曼结构吗？

问：在我的理解中，您刚才提到冯诺依曼结构，其实类脑应该是一种非冯结构，它未来能够实现这种通用性能吗？

陈云霁： 类脑是不是非冯诺依曼结构，还是存在争议的。冯诺依曼结构的核心思想在于存储程序，在于我们换一个任务去做并不需要重新去把硬件给拆下来。类脑计算也希望存储程序，也希望有比较强的灵活性。它到底会不会是冯诺依曼结构呢？我觉得还要一事一议的看，并不是类脑的机器就一定不是冯诺依曼结构。

如果我们仔细去看冯诺依曼报告，可能很多人没有看过，我自己是有一天熬夜的时候很无聊，就把冯诺依曼1945年写的那个报告下载下来看的。我一看就很震惊。那个报告十几章，第一章、第二章是我们过去都知道的冯诺依曼机的介绍，一个冯诺依曼机应该包括存储器、控制器等东西。

后面十几章讲什么呢，他在论证整个冯诺依曼机可以用神经元搭出来，还做了很多数据上的论证，控制器可以用神经元搭出来，存储机可以用神经元搭出来，输入输出也可以用神经元搭出来，然后最后的结论就是整个冯诺依曼其实都可以用神经元搭出来。

所以从这个角度上来说，我不知道冯诺依曼心目中的冯诺依曼机跟我们大家心目中的冯诺依曼机是不是一个概念。但是如果我们指的是冯诺依曼自己说的冯诺依曼机，我觉得至少很多类脑芯片不一定就跳出他的范畴。

大家可能并不一定会看最原始的文件，看了第五手、第六手资料，可能理解和原作者就会有所偏差。但是我觉得冯诺依曼的理解，对于冯诺依曼机的理解应该跟绝大部分的人想象的会不太一样。