人工智能基础理论的过去、现在及发展趋势思考

2019 年 10 月 14 日 专知

【导读】本文回顾了人工智能的发展历史，分析了当前国内外研究现状，指出了目前以深度学习为代表的人工智能基础研究困境。包括可解释性神经网络模型问题、网络模型的结构设计问题、小样本学习问题等。给出了今后人工智能发展趋势，认为基于统计物理思维构建协同学习系统可能是通往通用人工智能的路线之一。

辛欣，北京理工大学计算机学院

郭平，北京师范大学图形图像与模式识别实验室

谈历史，要从盘古开天辟地说起。盘古，又称盘古氏，混沌氏。是中国传说中开天辟地创造人类世界的始祖。最早的记载见于三国时期吴国徐整著《三五历纪》：“天地浑沌如鸡⼦，盘古⽣其中。万⼋千岁，天地开辟，阳清为天，阴浊为地”。“自从盘古开天辟地...” 这种说法常比喻空前的，自古以来没有过。但这是民间神话传说, 并非科学的天地起源之说。

从科学的角度来看，依据“大爆炸宇宙论” （The Big Bang Theory），我们目前认知的宇宙是由大约 137 亿年前发生的一次大爆炸形成的。大爆炸使物质四散出去，宇宙空间不断膨胀，物质密度从密到稀地演化，温度也相应下降。大约在大爆炸后 30 万年后，化学结合作用使中性原子形成，宇宙主要成分为气态物质，并逐步在自引力作用下凝聚成密度较高的气体云块，直至后来相继在宇宙中演化出所有星系、恒星、行星乃至生命，成为我们今天看到的宇宙 [1] 。

在宇宙演化过程中, 大约在 46 亿年前形成了太阳系以及地球。而随着时间的推移，大约在 40 亿年前，地球上出现了生命。在“物竞天择、适者生存”自然选择法则下面，地球上的生物从低级到高级、从简单到复杂，经过漫长的时间逐渐演化到目前多物种的生物圈。在生物演化的时间长河中，大约在 450 万年前, 人和猿开始分化, 以后在由腊玛古猿演化成 200 万年前的南方古猿,进一步再发展为晚期智人（新人）。而大约在 4-5 万年前人类的进化出现了明显的加速, 直至出现了现代人类。人类进化为万物之灵，具有了高智慧的大脑。

Intelligence ，这个英文单词通常翻译为智能，有时也译为智慧。智能与智慧含义比较接近，但是有区别。可以认为智慧是比智能更高层次的理念，而智能是智力和能力的总称，中国古代思想家一般把智与能看做是两个相对独立的概念，通常认为 “智”指进行认识活动的某些心理特点，“能”则指进行实际活动的某些心理特点。自然智能包括人类智能和其他生物智能，因此生物智能是一种天生的能力，可以使生物体在某些环境中探索，开发，适应和生存。有些学者认为具有感知，记忆，自我意识，并能进行一定交流的动物为智能生物，也具有智能 [2] 。有些学者将智能定义为智慧和能力，从感觉到记忆到思维这一过程，称为“智慧“，智慧的结果产生了行为和语言，将行为和语言的表达过程称为“能力”。根据发育心理学家霍华德·加德纳的多元智能理论，人类的智能可以分成七个范畴：包括语言 (Verbal/Linguistic)；逻辑 (Logical/Mathematical)；空间 (Visual /Spatial)；肢体运作 (Bodily/Kinesthetic)；音乐 (Musical/Rhythmic)；人际 (Inter-- personal/Social)；内省 (Intrapersonal/Introspective)等 [3] 。人类在与大自然协同演化过程中，最初为了生存而提高生产力，发明创造了生产工具。我们知道，生产工具的内容和形式是随着经济和科学技术的发展而不断发展变化的。随着科学技术的发展, 人类文明不断向前发展。如今科学技术是第一生产力，对社会发展具有推动作用。科技改变了人们的学习工作和日常生活，人类文明也在不断发展，人类从最初的畏惧自然到征服自然，进而认识到要善待自然、与自然和谐相处。恩格斯在《在马克思墓前讲话》(1883 年 3 月 17 日)里说过，人们首先必须吃、喝、住、穿，然后才能从事政治、科学、艺术、宗教等等。即一切人类生存的第一个前提，也就是一切历史的第一个前提是生活。为了生产满足人类生活需要的资料，人类自从进化出来的那一天开始，就一直从事着繁重的体力劳动。为了从体力劳动之中解放出来，是最初科学技术发展的动力。从社会进化史中可以看到，为了解放自己的人类，通过技术革命，特别是近代的三次工业技术革命，直接改变了生产方式。为了从繁重的体力劳动之中解放出来，实现高度自动化生产，其关键是发展人工智能技术，实现生产的无人化。只有实现了生产的无人化，人类才能真正的解放出来。

人工智能（Artificial Intelligence--AI）一词，是 1956 年在达特茅斯学院举办的一次会议上，由计算机专家约翰麦卡锡 (John McCarthy)提出来的 。后来，这被人们看做是人工智能正式诞生的标志，1956 年也被当做人工智能的元年。达特茅斯茅斯会议正式确立了 AI 这一术语后，开始从学术角度对 AI 展开了严肃而精专的研究。在那之后不久，最早的一批人工智能学者和技术开始涌现，从此人工智能走上了快速发展的道路。

最初对人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。但不同的时代、不同的人对这种“复杂工作”的理解是不同的。目前对人工智能还没有一个精确的，人们普遍可以接受的定义，但按照拟人化的说法目标是希望人工智能能够分担和协助人类的工作。在学科上来说人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。斯坦福大学人工智能研究中心尼尔逊教授认为“人工智能是关于知识的学科怎样表示知识以及怎样获得知识并使用知识的科学。”而麻省理工学院的温斯顿教授认为 “人工智能就是研究如何使计算机去做过去只有人类能做的智能工作”。由此可见一种观点认为人工智能是研究人类智能活动的规律，构造具有一定智能的人工系统，研究如何让计算机去完成以往需要人的智力才能胜任的工作，也就是研究如何应用计算机的软硬件来模拟人类某些智能行为的基本理论、方法和技术。

在人工智能发展的历史上，不同学科或学科背景的学者对人工智能做出了各自的理解，提出了不同的观点，由此产生了不同的学术流派。期间对人工智能研究影响较大的的主要有符号主义、联接主义和行为主义三大学派：

(1) 符号主义(Symbolism)，又称为逻辑主义、心理学派或计算机学派，其原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理。

(2) 联接主义(Connectionism)，又称为仿生学派或生理学派，其主要原理为神经网络及神经网络间的连接机制与学习算法。

(3) 行为主义(Actionism)，又称为进化主义或控制论学派，其原理为控制论及感知-动作型控制系统。

三大学派之一的联接主义学派，认为人工智能实现应该源于仿生学，特别是对人脑模型的研究。其代表性成果是 1943 年由生理学家麦卡洛克(McCulloch)和数理逻辑学家皮茨 (Pitts)创立的脑模型，即 MP 模型，开创了用电子装置模仿人脑结构和功能的新途径。从神经元开始进而研究神经网络模型和脑模型，形成了人工智能研究的一大主流。在 20 世纪 60~70 年代，联接主义学派代表性成果是罗森布拉特（Rosenblatt）提出的感知机(perceptron)。但以感知机为代表的脑模型的研究出现过热潮，明斯基（Minsky）和佩伯特(Papert)他们指出，感知机连一个简单的 XOR（异或）逻辑都实现不了，最简单的模式都无法识别，使得神经网络研究在 20 世纪 70 年代后期至 80 年代初期落入低潮。在 1982 年和 1984 年霍普菲尔德（Hopfield）教授发表了两篇重要论文，提出用硬件模拟神经网络以后，联接主义才又重新抬头[4,5] 。1974 年韦伯斯(Paul Werbos) 在他的博士论文里提出了对神经网络的误差反向传播（Back Propagation --BP）算法, 为神经网络发展带来了第一次重大转机。但 BP 的快速发展与成名，得益于鲁梅意哈特（Rumelhart）等人在“自然”杂志的通信：通过误差传播学习内在表示（Learning Internal Representations by Error Propagation）[6] （1986 年出版的 Parallel Distributed Processing 一书里的一章）。（BP 是一种梯度下降算法，原理很简单，就是采用链式法则微分计算误差函数的梯度，解决了多层神经网络的权重优化问题。）在这年之后，联结主义势头大振，在全世界范围内掀起了神经网络研究的热潮。从模型到算法，从理论分析到工程实现，为神经网络计算机走向市场打下基础。

1987 年 6 月 21-24 号在美国圣地亚哥召开了第一届国际神经网络会议（1987 IEEE First Annual International Conference on Neural Networks）, 会上甚至有人提出了“人工智能已经死亡, 神经网络万岁 (AI is dead. Long live Neural Networks )”的口号，可见神经网络的火爆程度。

随着国际上神经网络学术研究迅猛发展，我国学者也积极跟进，并与 1990 年筹建了中国神经网络委员会，同年 12 月在北京举办了国内首届神经网络大会，大会主席是罗沛霖院士。罗沛霖院士也是中国神经网络学术研究那时最重要的发起推动人，他在 1987 年访问美国时，会晤了人工神经网络的学术权威霍普费尔德(Hopfield)和米德(Mead)，回国后便推动这项学术活动。罗沛霖院士促成了由中国电子学会、中国计算机学会、中国自动化学会、中国人工智能学会、中国生物物理学会和中国心理学会等 8 个国家一级学会（后来增加到 15 个）成立了中国神经网络委员会筹备委员会。

由中国神经网络委员会筹备委员会主办的第二届中国神经网络大会 1991 年 12 月 3-6 号在南京举行，大会主席是吴佑寿院士和韦钰教授。当时是中华医学会、中国人工智能学会、中国心理学会、中国生物物理学会、中国电子学会、中国电工学会、中国电机学会、中国计算机学会、中国光学学会、中国自动化学会、中国物理学会、中国通信学会和中国数学学会等 13 个一级学会组成了中国神经网络委员会筹备委员会。

当时的口号是“携手探智能，联盟攻大关”，对神经网络学术研究接轨与世界水平充满了希望。并确定 1992 年与 IEEE Neural Network Council （神经网络委员会），International Neural Network Society （国际神经网络学会）联合举办国际神经网络联合大会（International Joint Conference on Neural Network – IJCNN）。

由于韦伯斯的 BP 算法和辛顿等人的 Nature 论文，使得神经网络研究得以复兴，并有了独立于Association for the Advancement of Artificial Intelligence（先进人工智能协会--AAAI）之外的，单独成为一个国际学术组织“国际神经网络学会”（INNS）。IEEE 的神经网络委员会后来(2001 年)改名为 IEEE 神经网络学会（IEEE Neural Network Society）。

但是希望越大，失望也越大，由于受到当时的理论模型、生物原型和技术条件的限制，随着日本第五代计算机项目的失败，以神经网络为主的人工智能研究也进入了第二次寒冬。IEEE 神经网络学会最后于 2003 年正式改名为今天的 IEEE 计算智能学会（Computational Intelligence Society）。

计算智能（Computational Intelligence -- CI）是人工智能发展的新阶段，是受到大自然智慧和人类智慧的启发而设计出的一类解决复杂问题方法的统称[7] 。按照维基百科的解释，虽然人工智能和计算智能寻求类似的长期目标：达到通用智能（ AGI：一台可以执行人类可以执行的任何智力任务的机器的智能），但是传统人工智能和计算智能之间还是有明显区别的。根据 Bezdek（1994）的定义，计算智能是人工智能的一个子集。有时人工智能也称为机器智能，而机器智能包括了两种类型：基于硬计算技术的人工机器智能和基于软计算方法的计算机器智能，它们都能够适应多种情况。

通常认为计算智能是在人工神经网络、演化计算和模糊系统三个主要分支发展相对成熟的基础上，通过相互之间的有机融合形成新的科学方法，是智能理论和技术发展的新阶段。新兴的计算智能拓展了传统的计算模式和智能理论, 包括了学习理论和概率方法。那些在工程领域中无法用数学模型精确描述的复杂系统, 也可以用计算智能算法来建模和求解。

我们认为人工智能研究的符号主义、联接主义和行为主义三大学派，在计算智能中或多或少的得到了体现。例如模糊逻辑系统是建立在多值逻辑基础上，模仿人脑的不确定性概念判断、推理思维方式，运用模糊集合和模糊规则进行推理的方法来研究模糊性思维、语言形式及其规律的学科，这代表了符号主义学派的延伸与发展。演化计算（Evolution Computation -- EC）也称进化计算，是借助自然界（生物界）规律的启示，根据其规律，设计出求解问题的算法，其目标是模拟自然演化的过程。主要概念是“适者生存，优胜劣汰”，因此群体智能也归为演化计算。群体智能本身是来自对自然界中昆虫群体的观察，或社会性群居生物“群居性生物通过协作表现出的宏观智能行为特征被称为群体智能”。而行为主义学派认为人工智能源于控制论。控制论早期的研究工作重点是模拟人在控制过程中的智能行为和作用，如对自寻优、自适应、自镇定、自组织和自学习等控制论系统的研究，并进行“控制论动物”的研制，因此行为主义也被称为进化主义。而目前发展势头最猛、风头最盛的深度神经网络（深度学习）就是联结主义学派的延伸。

2006年， Hinton 等人在《科学》上发表了一篇论文（Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, 2006, 313(5786): 504-507.），文中提出了两个观点：（1）多层人工神经网络模型（MLP）有很强的特征表示能力，深度网络模型学习得到的特征对原始数据有更本质的代表性，这将大大有利于解决分类和可视化问题；（2）对于深度神经网络很难训练达到最优的问题，可以采用逐层训练加微调方法解决。Hinton 等人提出深度置信网（Deep Belief Net：DBN）[Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets. Neural computation, 2006, 18(7): 1527-1554.]，是由一系列受限波尔兹曼机堆叠组成，网络结构与 MLP 是完全一致的。Hinton 等人提出无监督贪心逐层训练算法，是对经典的 BP 算法的改进，这突破了早期多层神经网络发展的瓶颈，应用效果才取得突破性进展。其后重新点燃了人工智能领域对神经网络热情，学术界才由此掀起了对深度学习的关注与深入研究。特别是在 2012 年，Hinton 和他的学生 Alex Krizhevsky 设计了基于卷积神经网络（CNN）的 AlexNet，并利用了 GPU 强大的并行计算能力，在代表计算机智能图像识别最前沿的 ImageNet 竞赛中，以比第二名测试错误率 26.2% 低好多的测试错误率 15.3%夺得竞赛冠军。也是在那年之后，更多更深的神经网络结构模型被提出来。2015 年，深度学习的代表学者 LeCun, Yoshua Bengio & Geoffrey Hinton 联合在 Nature 杂志发表了深度学习综述论文，（Yann LeCun, Yoshua Bengio & Geoffrey Hinton， Deep learning， Nature Vol. 521, pages 436–444, 28 May 2015），神经网络以深度学习之名强势回归。得益于近年来数据爆发式的增长、计算能力的大幅提升以及深度学习算法的发展和成熟，我们迎来了人工智能概念出现以来的第三个发展浪潮。

2016 年对大众来说有两个刷屏事件，其中之一是谷歌大脑的 Alpha Go 与李世石举世瞩目的围棋人机大战，AlphaGo 对李世石的胜利使得公众开始认识、了解人工智能。（另一个刷屏事件是人类首次探测到了引力波。郭某人在科学网博客中将人工智能与引力波这两个事件结合起来做了介绍【郭平，“引力波数据分析中的人工智能技术”，科学网博客， http://blog.sciencenet.cn/blog- 103425-958317.html】）

随着 2016 年 AlphaGo 在围棋游戏上取得突破进展，人工智能得到全方位关注。大家熟悉人工智能对大众来说，可能较早进入视线的是一部 AI 科幻电影。电影的名字就叫《人工智能》，这是由著名导演史蒂文·斯皮尔伯格执导的，华纳兄弟影片公司于 2001 年拍摄发行的一部未来派的科幻类电影。后来另外一部在 2015 年上映的电影《机器姬》（Ex Machina），使得大众知道了由图灵提出的测试机器是否具备人类智能的的著名实验“图灵测试”。

但是大众媒体认知中的 AI 与学术界中专家认为的 AI 存在较大差异，在我国人工智能专家学者眼中的 AI，从《新一代人工智能发展规划》中可见一斑。

2017 年 7 月 8 日国务院印发了关于“新一代人工智能发展规划的通知”。在《新一代人工智能发展规划》中，对人工智能基础理论方面提出了 8 个研究方向，分别为 1.大数据智能理论；2.跨媒体感知计算理论；3.混合增强智能理论；4.群体智能理论；5.自主协同控制与优化决策理论；6.高级机器学习理论；7.类脑智能计算理论；和 8.量子智能计算理论。在 2018 年 4 月 2 日，为落实《国务院关于印发新一代人工智能发展规划的通知》，引导高等学校瞄准世界科技前沿，不断提高人工智能领域科技创新、人才培养和国际合作交流等能力，为我国新一代人工智能发展提供战略支撑，教育部特别制定了《高等学校人工智能创新行动计划》（简称《行动计划》）。在学科建设⽅面，《⾏动计划》支持⾼校在计算机科学与技术学科设置⼈⼯智能学科⽅向，深⼊论证并确定⼈⼯智能学科内涵，完善⼈⼯智能的学科体系，推动⼈⼯智能领域⼀级学科建设。支持⾼校自主设置相关⼆级学科或交叉学科。在专业建设⽅面，重视⼈⼯智能与计算机、控制、数学、统计学、物理学、⽣物学、⼼理学、社会学、法学等学科专业教育的交叉融合，探索“⼈⼯智能+X”的⼈才培养模式。

从《行动计划》中可以看出，我国大多数专家认为人工智能是计算机科学的一个分支，这是由于研究人工智能的主要工具以及能够实现人工智能技术平台的机器就是计算机，人工智能的发展历史是和计算机科学技术的发展史关联在一起的。但目前由于人工智能具有“头雁”作用，人工智能已经发展成为十分广泛的学科，它由不同的学科领域组成，可以说几乎涵盖了自然科学和社会科学的所有学科，其范围已远远超出了计算机科学的范畴。今日的人工智能研究主流是以深度学习领衔的，基于大数据和强大计算能力的深度学习算法已经在计算机视觉、语音识别、自然语言处理等一系列领域中取得了突破性的进展。

但是，深度学习是机器学习的一个研究方向，而机器学习则是人工智能的分支之一。计算机与统计学习专家 Michael Jordan 认为：今天大多数被称为“AI”的东西，特别是在公共领域，都被称为“机器学习”（ML）。在过去的几十年里，ML 是一个算法领域，它将来自统计学、计算机科学和许多其他学科的想法融合在一起，设计算法来处理数据，做出预测并帮助做出决定。他说：“应该把它叫 IA，称作是增强智能更合适。并指出今后经典的人工模拟 AI 问题仍然值得关注。

然而，不同学科背景的专家学者的看法是不同的。由于早期联结主义学派是从大脑互联网络过来的，神经科学、认知科学专家学者，包括部分计算机科学学者认为对人工智能的进一步发展中类脑计算是重要的。在 2018 年 1 月 28 日，MIT 计算机科学&人工智能实验室教授 Tomaso Poggio 在《麻省理工科技评论》EmTech China 全球新兴科技峰会上演讲中有这样的内容：“深度学习有点像我们这个时代的炼金术，但是需要从炼金术转化为真正的化学。首先我认为是机器学习的算法，第一是深度学习，第二是强化学习，他们都是来自于认知科学以及神经科学。”“深度学习可以帮助我们解决 10%的难题，剩下的 90% 呢？我的答案是：我们可能也需要来自神经科学以及认知科学的研究，我们需要更好地了解人的思维和大脑。”并且 The Center for Brains, Minds and Machines （CBMM）想通过以下三条路径解决这个问题：1、计算机科学+机器学习；2、神经科学；3、认知科学。不过按顺序来看，排在第一位的还是计算机科学+机器学习

我国认知科学家陈霖院士认为新一代人工智能的核心基础科学问题是认知和计算的关系。（中国认知计算和混合智能学术大会（CCHI 2018），《新一代人工智能的核心基础科学问题：认知和计算的关系》的大会报告，[陈霖, 新一代人工智能的核心基础科学问题：认知和计算的关系, 中国科学院院刊, 2018, 33(10):1104-1106.]）。“如果说，深度学习来自神经系统的层次结构的启发。那么，起源于特定细胞的超越脑区的全脑成像，将为新⼀代⼈⼯智能体系结构提供深刻和丰富得多的启发”。“⼈⼯智能的基础研究应当强调系统、整体和⾏为的研究，应当⼈类为主，动物为辅；宏观为主，结合微观”。“⼈⼯智能的基础研究要特别支持认知科学的实验研究，要注重认知科学实验为基础的学科交叉。”

计算机科学家李国杰院士最近在一个论坛讲到：“认知科学本质上是⼀个实验科学。认知的基本单元不是计算的符号，不是比特，⽽是⼀种整体性的“组块”（ chunk）。对上百亿年宇宙演化形成的极为精巧的⼈脑应有⾜够的敬畏，破解⼈脑的奥秘可能需要⼏百年甚⾄更长的时间，不是我们这⼀代⼈就能够解决。”“图灵认为“机器有没有智能”不是科学问题，因为“智能”没有明确定义。从计算机科学诞⽣起，⼈⼯智能与计算机科学本质上就是⼀门科学。到目前为⽌，还不存在不采用计算技术的⼈⼯智能。近年来⼈⼯智能发展主要得益于数据资源的极⼤丰富和计算能⼒的飞速提⾼，⼈⼯智能技术本质上并没有实质性的突破。因此可以说，⼈⼯智能的复兴主要是计算技术的胜利，摩尔定律的胜利！”

由深度学习领域三位专家 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 合著，张志华等人翻译的《深度学习》（Deep Learning）一书中，对深度学习与脑科学或者神经科学的关系的看法是：“如今神经科学在深度学习研究中的作用被削弱，主要原因是我们根本没有⾜够的关于⼤脑的信息作为指导去使用它。要获得对被⼤脑实际使用算法的深刻理解，我们需要有能⼒同时监测(⾄少是)数千相连神经元的活动。我们不能够做到这⼀点，所以我们甚⾄连⼤脑最简单、最深⼊研究的部分都还远远没有理解”。对此北京大学张志华教授评论到[注 1] ：“值得注意的是，我国有些专家热衷倡导⼈⼯智能与脑科学或认知学科的交叉研究，推动国家在所谓的“类脑智能”等领域投⼊⼤量资源。且不论我国是否真有同时精通⼈⼯智能和脑科学或认知⼼理学的学者，⾄少对交叉领域，我们都应该怀着务实、理性的求是态度。唯有如此，我们才有可能在这⼀波⼈⼯智能发展浪潮中有所作为，⽽不是又成为⼀群观潮⼈”。并指出“数学模型、计算⽅法和应用驱动才是我们研究⼈⼯智能的可⾏之道。”

随着认知的深入，对人工智能发展需要重新思考。最近谷歌 Business Insight 团队的数据科学家，Takashi Jozaki 认为，Hinton 他们 1986 年 Nature 上发表的那篇论文的意义，并不单单只是提出了反向传播，更是“神经网络从心理学和生理学分离，转向机器学习领域的一个重大转折。”（https://tjo.hatenablog.com/ entry/2018/10/23/080000） Hinton 他们在 2006 年的论文里也提到：“这样的学习方法，似乎并不是大脑学习的一种合理模型。然而，将这个方法应用在各种各样的任务上后显示，通过权重空间的梯度下降，可以构建出很有趣的内部表征。这表明，很值得在神经网络中找出更有生理可行性的方法来进行梯度下降。” 我们可以看出，虽然神经网络研究起源于对生物体大脑的建模，但由于对神经科学看法的改变，逐渐与大脑模型的差异变得显着。为了区分于生物学和神经科学上的神经网络，所以也称为人工神经网络（ANN）。ANN 或联结主义系统，是由构成大脑的生物神经网络启发的计算系统，ANN 最初的目的是想像人脑一样解决问题。但随着时间的推移，注意力重点开始转移到了执行特定任务上去，导致了从神经科学的偏离。还有“尽管如此，受大脑启发的神经网络（和其综合运用）还是有很大的应用可能性”。即使在已不把模仿人脑当做目标的现在，神经网络还继续沿用“神经”这个词。但是神经网络现在已慢慢远离联结主义的起源，开始成为了大家公认的机器学习王者。

神经生物学家杨雄里院士谈当前脑科学的发展态势和战略时认为：人工智能有两条途径可以实现：一是跟脑的工作原理毫不相关，即不考虑脑的工作机制，仅从计算科学的角度来设计和考虑；二是受脑的工作原理的启发，借鉴脑处理信息实现智能的特点来推进人工智能的研究，即类脑人工智能。这是两条不同的路径，但也有可能殊途同归，只要能实现人工智能都是值得鼓励的。目前前者的研究更热门一点，后者难度更大，但意义更深远。杨雄里：中国脑计划 : “一体两翼” ，文汇报 2017 年 3 月 26 日 http://www.sohu.com/a/221020764_465915）。

从上面所列举的观点我们可以看出，目前是一个人工智能，众多学派各自表述。俗话说，屁股决定脑袋，一个人坐什么位置，往往决定了他思考的角度和范围。不同学科背景的人自然对人工智能的解释不同。我们认为，只要不是大是大非的问题，各种观点从学术研究的角度来说均可表述，但对异端邪说，我们应该坚决反对。古人云：岁月如河，大浪淘沙，泥沙俱下。在人工智能发展的浪潮下，大浪淘沙，最后留下的都是金子，是可以促进人类社会健康发展的科学与技术。这也是一种符合适者生存的自然选择法则。

虽然目前人工智能的研究热门是脱离了心理和生理学的深度学习(机器学习)，但也不仅仅只是深度学习，人工智能研究也分为很多学术门派。Carlos E. Perez 在 Medium.com 写了一篇文章，将人工智能研究划分为 17 种门派（Tribes），并给每个“门派”起了名字，还设计了 Logo。(更详细请参见 Carlos E. Perez， “The Many Tribes of Artificial Intelligence” https://medium.com/intuitionmachine/the-many-tribes-problem-of-artificial-intelli-gence-ai1300faba5b60#.4vf8ax9ab ). Perez 把深度学习中分成几个子方法，包括了：The Canadian Conspirators， Swiss Posse， British AlphaGoist，还有 Predictive Learners 等。从这里可见深度学习也是综合了多种研究方法。

随着时间的演化与研究的深入，深度学习遇到了瓶颈，人工智能的理论停滞不前。纽约大学心理学教授 Gary Marcus 给过热的深度学习泼了冷水，他列举了深度学习的种种问题，包括以下几个方面：(Gary Marcus, Deep Learning: A Critical Appraisal, https://arxiv.org/abs/1801.00631, 2018.)

1）深度学习需要大量的数据，对于可用的数据有限的场合，深度学习往往并不是最佳的选择；2）学到的知识并不深入而且很难迁移；3）难以处理层次化的结构；4）对于开放性推理问题爱莫能助；5）深度学习依然不够透明；6）深度学习远未与先验知识紧密结合；7）深度学习无法区分因果性与相关性；8）深度学习对环境的稳定性提出要求，这可能会存在问题；9）深度学习目前得出来的结果只是近似值，不能彻底相信；10）深度学习发展到现在还是很难工程化。

Gary Marcus 在指出深度学习的种种问题的同时也肯定了目前的进展，“诚然，深度学习在计算机视觉、强化学习、NLP 等领域都优异地解决了不少疑难问题，但我们在对深度学习抱有热情的同时也应当看到，深度学习并不能解决所有的问题，它⾼超的提取特征和非线性抽象的能⼒也远不⾜以构成通用⼈⼯智能的基础架构。”同时也更希望各种技术和认识方法可以齐头并进，合力构建出人类理想中的“人工智能”。

计算机科学教授、图灵奖得主 Judea Pearl 的新书《因果科学》(The Book of Why: The New Science of Cause and Effect)则引发了一场关于人工智能未来以及深度学习是否会导致接近一般人类智能的讨论。Pearl 阐述了自己书中的观点和对人工智能现状的看法，包括当前人工智能无法执行因果推理是一个严重的缺陷。他认为“深度学习是⼀种非常通用和强⼤的曲线拟合技术，它可以识别以前隐藏的模式，推断出趋势，并预测出各种问题的结果。曲线拟合⽅法在表示给定数据集⽅面的⼀个风险是过度拟合，即算法不能识别出数据中的正常波动，最终会被⼲扰所迷惑。”“除非算法和由它们控制的机器能够推理因果关系，或者⾄少概念化差异，否则它们的效用和通用性永远不会接近⼈类。”

在 2018 年 8 月 11 日由厚益控股和《财经》杂志联合主办主题为“共享全球智慧引领未来科技”的世界科技创新论坛上，2011 年诺贝尔经济学奖获得者 Thomas J. Sargent 认为 “⼈⼯智能其实就是统计学，只不过用了⼀个很华丽的辞藻，其实就是统计学。好多的公式都非常老，但是所有的⼈⼯智能利用的都是统计学来解决问题。”。他还提出，“有好多应用科学像⼯程学、物理学、经济学，我们会建立⼀些模型模拟世界运营……我们的目的是希望解释我们所观察到的世界上的现象，⽽我们关键的⼯具是使用模型，然后放到计算机里模拟。把模拟后的数据拿来，利用数学⽅法，去微调它的参数，希望尽量接近于现实。在这个过程中，我们扮演上帝的角⾊。”

暂且不论 Sargent 的观点是否正确，是否能被主流的人工智能研究学者接受，我们应该看到深度学习为代表的人工智能的局限性与今后应该如何发展。

最近（2019 年 1 月 25 号）《麻省理工学院科技评论》杂志的 AI 记者 Karen Hao 利用当今最庞大的科学论文开源数据库之一 “arXiv”，对深度学习研究领域的演化进行了分析。Karen Hao 下载了截止到 2018 年 11 月 18 日“人工智能”部分的 16625 篇论文的摘要，并对这些年来提到的词汇进行了追踪，以了解深度学习的发展究竟走到了哪一个阶段，以洞察 AI 下一步的发展方向。作者深入研读了 25 年来的 AI 研究论文，结果表明深度学习的时代即将结束。（参见 https://www.technologyreview.com/s/612768/we-analyzed16625-papers-to-figure-out-where-ai-is-headed-next/）

华盛顿大学的计算机科学教授、《终极算法》（Master Algorithm）一书的作者 Pedro Domingos 认为，长期以来，不同技术的突然兴起和衰落一直是人工智能研究领域的特点。每十年都有不同观点之间的激烈竞争。然后，每隔一段时间，一个新的技术就会兴起，研究人员都会聚集起来研究这个新兴的技术。“换句话说，每⼀个⼗年，本质上是某种技术的统治时期：神经⽹络统治了上世纪 50 年代和 60 年代，各种象征性的⽅法征服了 70 年代，知识库系统在 80 年代⾛向巅峰，贝叶斯⽹络引领 90 年代，支持向量机在本世纪 00 年代爆发，在 10 年代，我们再次回到神经⽹络。”“21 世纪 20 年代也不会例外”，这意味着深度学习的时代可能很快就会结束。但是，对于接下来会发生什么，已经有两个截然不同的走向摆在我们面前——究竟是一种旧技术会重新获得青睐，还是 AI 领域将迎来一个全新的范式？Pedro Domingos 并没有给出答案，但从我国新一代人工智能发展规划我们可以认为，在未来的 10 年，多学科多方位的融合发展是人工智能未来的发展趋势。

围绕人工智能今后的发展趋势问题，微软研究院机器学习组刘铁岩等人认为机器学习的未来十年研究热点中包括可解释的机器学习；轻量机器学习和边缘计算；量子机器学习；简单而美的定律，貌似复杂的自然现象都由简单而优美的数学规律所刻画，如偏微分方程；还有社会机器学习等。（参见 https://www.msra.cn/zh-cn/news/executivebylines/techbylines-machine-learning）。

大多数专家学者认为发展新一代人工智能应该借鉴认知神经科学的机制，利用机器学习的数学工具，构建人工智能的基础理论体系。机器学习是以概率统计为数学工具的，有学者想用概率统计的框架（例如信息瓶颈）不足为奇。作为自然科学的带头学科，物理学是研究物质运动最一般规律和物质基本结构的学科。用物理方法的框架也许是走向统一理论的途径之一[12] 。但是，由 David H Wolpert 和 William G Macready 提出的没有免费午餐的定理说明，没有任何一个算法可以解决机器学习所有的应用。因此，针对特定的问题，需要发展专门的方法来解决。例如为了克服卷积神经网络的缺点，深度学习大咖之一 Hinton 教授最近提出了胶囊网络。一个胶囊网络是由胶囊而不是由神经元构成。一个胶囊是一小组神经元，相当于一个功能模块。用到图像处理时，功能模块可以学习在一个图片的一定区域内检查一个特定的对象（模式）[Sabour, Sara; Frosst, Nicholas; Hinton, Geoffrey E. (2017- 10-26). "Dynamic Routing Between Capsules". arXiv:1710.09829]。

深度学习的三驾马车之一，Yann LeCun 在 IJCAI-2018 开幕式上给出了“Learning World Models: the Next Step towards AI”的演讲。LeCun 表示人工智能革命的未来不会是有监督学习，也不会是单纯的强化学习，而是需要学习一个具备常识推理与预测能力的世界模型。从直观上理解，世界模型就是一个具备关于世界如何运作的通用背景知识、具备预测行为后果的能力、具有长期规划与推理能力的模型。Yann LeCun 总结了三类学习范式，分别是强化学习、监督学习和自监督学习，并认为自监督学习（以前称为预测学习）是实现世界模型的一个潜在研究方向。演讲最后 Yann Lecun 总结了技术和科学之间的互相驱动和促进，如望远镜和光学、蒸汽机和热力学、计算机和计算机科学等。并提出了几个疑问，1）什么相当于智能的“热力学”？2）人工智能和自然智能背后是否存在底层原则？3）学习背后是否存在简单的准则？4）大脑是否是进化产生的大量“hack”的集合？

在 2018 年 11 月 7 日，Yoshua Bengio 受邀来到北京参加第二十届“二十一世纪的计算”国际学术研讨会。会上以及随后受邀前往清华大学，他给出了题为“Challenges for Deep Learning towards Human-Level AI”的演讲。Bengio 以 2017 年发布在 arXiv 的研究计划论文“有意识先验”（The consciousness prior）为主旨，重申了他与 Yann Lecun 多年前提出的解纠缠（disentangle）观念：我们应该以“关键要素需要彼此解纠缠”为约束，学习用于描述整个世界的高维表征（unconscious state）、用于推理的低维特征（conscious state），以及从高维到低维的注意力机制--这正是深度学习通往人类水平 AI 的挑战。人类的认知任务可以分为系统 1 和系统 2 。系统 1 侧重快速感知，而系统 2 认知任务则与系统 1 任务的方式完全相反，侧重慢速有意识的行为---算法。Bengio 认为意识领域的研究正逐渐变成主流，将“意识”称作一个“先验”，是因为意识是一个约束条件、一个正则化项、一个假设，这就是我们可以用非常少的变量进行大量的预测。但是“具体⽽⾔，我们的学习理论在这⽅面仍然很匮乏。目前的学习理论假设测试分布与训练分布相同，但是该假设并不成立。你在训练集上构建的系统在现实世界中可能效果并不好，因为测试分布与训练分布不同。因此我认为我们应该创建新的学习理论，它应该不会基于“测试分布与训练分布相同”这样⽣硬的假设。我们可以采用物理学家的⽅式，假设训练分布和测试分布的底层因果机制相同。这样即使动态系统的初始条件不同，底层物理机制仍然不会改变。那么如何去做呢？事实上，构建好的世界模型令⼈望⽽⽣畏，我们没有⾜够的计算能⼒对真实世界建模，因此我认为更合理的⽅法是利用机器学习，机器学习研究不是关于 AI 应该具备哪些知识的研究，⽽是提出优秀的学习算法的研究。优秀的机器学习算法理应在任何分布中都可以良好运⾏。”

最近 M. Mitchell Waldrop 在美国国家科学院院刊（PNAS）发表了一篇题为“新闻特写：深度学习的局限是什么？”的评论文章（M. Mitchell Waldrop，News Feature: What are the limits of deep learning?, PNAS, 2019-01-22 , DOI: 10.1073/pnas.1821594116 ）。在这篇 PNAS 特稿中，Waldrop 简述了深度学习的发展历史，认为一切光荣得益计算力的爆发，才使得人工智能有了今天的蓬勃发展。但是，由于深度学习具有多种局限，包括易受对抗攻击、学习效率低、应用不稳定、缺乏常识以及可解释性等，Hinton 提出的问题依然存在：“深度学习到底缺少了什么?”。从可计算性的角度来看，人工智能研究领域越来越多的人认为，为了解决深度学习的缺陷，需要有一些根本性的全新想法。Waldrop 因此列举了几个他认为具有新想法的工作，其中之一是 DeepMind 团队的生成查询网络(Generative Query Network -GQN) [11] 。

在 GQN 架构中，有两个不同的网络：生成网络(generation network)和表示网络 (representation network)。GQN 模型由两部分构成：一个表征网络以及一个生成网络。表征网络将智能体的观察作为输入，并生成一个描述潜在场景的表征（向量）。然后生成网络从之前未观察过的视角来预测（想象）该场景。GQN 建立在最近大量多视角的几何研究、生成式建模、无监督学习和预测学习[10] 的基础上，它展示了一种学习物理场景的紧凑、直观表征的全新方式。GQN 本质上不是训练一个大型网络，而是让两个网络协同工作。

Waldrop 的最终结论是深度学习不是实现 AI 的途径，认为图网络（graph network）可能会引领 AI 未来发展。图网络是一种神经网络，它将图作为输入(而不是原始像素或这一维波形)，然后学习推理和预测对象及其关系如何随时间演变。图网络方法已经证明了在一系列应用中可实现快速学习，以及人类水平的能力，包括复杂的视频游戏。此外，图网络可以使网络不那么容易受到对抗性攻击，原因很简单，它是一个将事物表示为对象，而不是像素模式的系统，不会轻易被一点噪音或无关的贴纸所干扰（注：关于贴纸，是指在交通标志牌上的贴纸干扰了识别，也就是所谓的“对抗样本”，参见：https://futurism.com/wemay-have-just- uncovered-a-serious-problem-with-how-ai-see/）。

综上所述，从这些已有的理论与方法，我们可以看出，虽然每种理论及方法或多或少地有这样那样的问题，但是都是朝着可能正确的方向迈进。目前有些理论与方法彼此矛盾，而另一些理论与方法可以结合起来使用。如前面所介绍的，目前人工智能研究能否形成一种新型的统一的理论，该理论的目标是构建可以实现的世界模型，那这个统一理论应该是什么呢？有学者认为为了更好地描述神经网络和神经系统，我们需要一套新的数学语言和框架，这又相当于提出了新的问题，这个新的框架在哪里呢？目前学术界里还没有统一的思路和共识。但是我们已经看到有些理论学家借鉴统计物理研究神经网络的复杂性。十九世纪末起步的统计力学（热力学与统计物理）发展到今天已经是较为成熟的学科。统计力学所研究的问题与理论神经科学研究的问题有不少相通之处。这两个学科都是研究复杂的宏观行为是如何由微观结构和性质产生的。而且在人工智能研究的 17 个门派之一就是复杂性理论学家，按照 Carlos E. Perez 的说法，“Complexity Theorists：这一派的人采用来自物理学，基于能量的模型，复杂性理论，混沌理论和统计力学的方法。Swarm AI 可以说属于这一派。如果任何团队称他们能找到深度学习为什么能起效的很好的解释，那么他们可能是这一派的。”在有大多数人可以接受的统一的世界模型及研究思路之前，我们可以在多个方向进行尝试，基于复杂性科学的研究也是值得探索的路线之一。

那应该如何克服深度学习具有的多种局限呢？我们认为今后既不是旧技术重新获得青睐，也不是 AI 领域将迎来一个全新的范式。最可能的路线是在旧技术基础上，发展新的范式。因为历史是在螺旋式演进的，我们的认知水平也是在不断提高的。牛顿说过他是站在巨人的肩膀上，任何具有历史的学科均是要在前人研究的基础上盖大厦，不是建空中楼阁的。

如前面所述，我们认为计算智能是人工智能发展的新阶段，是受自然启发（Nature inspired）的智能。计算智能的思想来源于物理学、化学、数学、生物学、心理学、生理学、神经科学和计算机科学等学科的现象与规律，融合了人工智能的三大学派形成了一个有机的整体。通过多学科多技术融合形成的系统从而可实现优势互补,将会比单一学科或技术更加有效, 并且能够取得更大的成果。因此，我们提出在借鉴认知神经科学的机制，利用机器学习中的数学工具，发展新一代人工智能路线上，应该以计算智能为基础，多头并进，发展协同学习系统[9] 。

物理学的核心是发现并解释物理现象、物质结构、相互作用及运动规律的，而人工智能的核心是创造智能。为了发展人工智能的基础理论，人工智能研究者应当融合并接受一切学科，兼容并包，采取搁置争议共同发展的策略。重提上世纪九十年代我国神经网络委员会的口号：“携手探智能，联盟攻大关”。

清华大学张钹院士说过，神经网络现在还在演进，关键是怎样选择正确框架以及训练，我们要把感知和认知放到同一个空间里，不是简单用概率统计的理论； 我们现在正在通往 AI 的路上，现在走得并不远，在出发点附近，但人工智能永远在路上，大家要有思想准备，而这也就是人工智能的魅力。

的确，人工智能永远在路上，这意味着需要长时间的演化才有可能接近 AGI。这里所说 AGI 是按照一种定义描述的：“Artificial General Intelligence 是具备与人类同等智慧、或超越人类的人工智能，能表现正常人类所具有的所有智能行为。”我们的长远目标，或者说梦想是协同学习系统通过长时间协同演化，最终实现通用人工智能。“我们都在努⼒奔跑，我们都是追梦⼈”，AGI 是梦想的未来，不是现在，是需要长时间演化才有可能达到的目标。这个时间有多长，也许需要地球流浪的时间，也需是一万年。但是“一万年太久，只争朝夕”，我们需要努力使演化过程加速。但目前考虑如何在近期实现 AGI 尚为时过早，如 Bengio 所说，“构建好的世界模型令人望而生畏，我们没有足够的计算能力对真实世界建模”。为避免在人工智能方面不切实际的幻想导致人工智能的寒冬很快再次来临，需要制定近期可实行的目标。也许从深度学习过渡到协同学习是可能的演化方向之一[9,10]。

来源链接：

http://chinaxiv.org/abs/201905.00013

参考文献：

[1] (英)斯蒂芬·霍金, 宇宙简史：起源与归宿, 出版社:译林出版社出版时间:2012年05月。

[2] (法)沃克莱尔, 《动物的智能》，2000-4 北京大学出版社。

[3] Gardner, Howard (1983), Frames of Mind: The Theory of Multiple Intelligences, Basic Books, ISBN 978-0133306149

[4] J. J. Hopfield, "Neural networks and physical systems with emergent collective computational abilities", Proceedings of the National Academy of Sciences of the USA, vol. 79 no. 8 pp. 2554– 2558, April 1982.

[5] Hopfield J J. Neurons with graded response have collective computational properties like those of two-state neurons. [J]. Proc Natl Acad Sci U S A, 1984, 81(10):3088-3092. [

6] David E. Rumelhart，Geoffrey E. Hinton，& Ronald J. Williams， Learning representations by back-propagating errors， Nature，vol. 323, pp. 533-536 (09 October 1986).

[7] 郭平编著，《软件可靠性工程中的计算智能方法》，科学出版社， 2012-05， ISBN: 9787030341310. [8] Wang J X , Kurth-Nelson Z , Kumaran D , et al. Prefrontal cortex as a meta-reinforcement learning system. Nature Neuroscience, 2018.

[9] Ping Guo, Synergetic Learning Systems (I): Concept, Architecture, and Algorithms, researchgate.net, January 2019. DOI: 10.13140/RG.2.2.13681.12644.

[10] Ping Guo, Synergetic Learning Systems (II): Interpretable neural network model with statistical physics approach, researchgate.net, May 2019. DOI: 10.13140/RG.2.2.23969.66401

[11] Eslami S, Jimenez D R, Besse F, et al. Neural scene representation and rendering. Science, 2018, 360(6394):1204-1210.

[12] 阎金铎,《物理思维论》，广西教育出版社，1999-03-01，ISBN 754352545。

-END-

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎登录www.zhuanzhi.ai，注册登录专知，获取更多AI知识资料！