什么是智能计算？之江实验室等90页pdf《智能计算：进展、挑战与未来》全面阐述智能计算理论基础，智能和计算的技术融合，重要的应用

2022 年 11 月 22 日 专知

计算是人类文明发展的重要动力。近年来，我们见证了智能计算的出现，一种新的计算范式正在重塑传统计算，以新的计算理论、架构、方法、系统和应用在大数据、人工智能和物联网时代推动着数字革命。智能计算极大地拓宽了计算的范围，从传统的数据计算扩展到日益多样化的计算范式，如感知智能、认知智能、自主智能和人机融合智能。长期以来，智能和计算经历了不同的演变和发展路径，但近年来却日益交织在一起:智能计算不仅是智能导向的，而且是智能驱动的。这种交叉融合促进了智能计算的出现和快速发展。智能计算仍处于初级阶段，智能计算在理论、系统和应用方面的大量创新有望很快出现。我们提出了第一个关于智能计算的文献综合调查，涵盖了其理论基础，智能和计算的技术融合，重要的应用，挑战，和未来的展望。我们相信这项调查是非常及时的，它将为学术和工业研究人员和从业者提供全面的参考和有价值的见解。

https://www.zhuanzhi.ai/paper/bc5925fc771a07607f776bb668320cd5

1. 引言

人类社会正从信息社会进入智能社会，计算已成为构建和推动社会发展的关键因素。在万物互联的数字文明新时代，传统的数据计算已经远远不能满足人类日益增长的对更高水平智能的追求。人们对智能计算的兴趣日益浓厚，加上计算科学的发展，对物理世界的智能感知，以及对人类意识认知机制的理解，共同提升了计算的智能水平，加速了知识的发现和创造。

近年来，计算和信息技术飞速发展，其中，由于深度学习的空前普及和成功，人工智能(AI)已被确立为人类探索机器智能的前沿。在此基础上，产生了一系列突破性的研究成果，包括Yann LeCun提出的卷积神经网络(convolutional neural network, CNN)和Yoshua Bengio在深度学习因果推理领域的贡献[1,2]。人工智能的先驱之一Geoffrey Hinton在2006年[3]提出了深度信念网络模型和反向传播优化算法。另一位重要的人工智能研究者J¨urgen Schmidhuber提出了应用最广泛的循环神经网络(RNN)，即长短期记忆(LSTM)[4]。它已成功地应用于许多领域，以处理完整的数据序列，如语音、视频和时间序列数据。2016年3月，DeepMind推出的人工智能围棋程序AlphaGo与世界顶级人类围棋大师李世石对决，引起了前所未有的全球关注。这场划时代的人机大战以人工智能的压倒性胜利而告终，并成为将人工智能浪潮推向全新水平的催化剂。

人工智能的另一个重要推动者是大型预训练模型的出现，这些模型已经开始广泛应用于自然语言和图像处理，在迁移学习的帮助下处理各种各样的应用。例如GPT-3已经证明，一个具有高度结构复杂性和大量参数的大模型可以提高深度学习的性能。在GPT-3的启发下，出现了一系列大规模深度学习模型[5-7]。

计算能力是支撑智能计算的重要元素之一。考虑到当今信息社会海量的数据源、异构的硬件配置以及不断变化的计算需求，智能计算主要通过垂直和水平架构来满足智能任务的计算能力需求。垂直架构的特点是计算基础设施同质化，主要是通过智能方法提高计算能力，提高资源利用效率。相比之下，横向架构对异构和广域计算资源进行协调和调度，使协同计算的效率最大化。例如，2020年4月，为了响应全球新冠肺炎研究的计算需求，Folding@home在3周内联合40万计算志愿者，实现了2.5 Exaflops的计算能力，超过世界上任何一台超级计算机[8]。这是一个成功的横向计算协作，以实现如此巨大的计算能力。

尽管在智能和计算方面已经取得了巨大的成功，但我们在以下两个各自的领域仍然面临着一些主要的挑战:

智能的挑战。使用深度学习的人工智能目前在可解释性、通用性、可进化性和自主性方面面临重大挑战。与人类智能相比，目前大多数人工智能技术的作用都很弱，而且只在特定领域或任务中发挥作用。实现强大和通用的人工智能还有很长的路要走。最后，从基于数据的智能升级到更多样化的智能形式也存在重大的理论和技术挑战，包括感知智能、认知智能、自主智能和人机融合智能，等等。
计算的挑战。数字化浪潮带来了前所未有的应用程序、连接、终端和用户的增长，以及生成的数据量，所有这些都需要巨大的计算能力。例如，人工智能所需的计算能力每100天翻一番，预计在未来5年将增加100多万倍。随着摩尔定律的变慢，要满足如此快速增长的计算能力需求变得具有挑战性。此外，智能社会中的巨大任务依赖于各种特定计算资源的有效组合。传统的硬件模式不能很好地适应智能算法，制约了软件的发展。

到目前为止，智能计算还没有被普遍接受的定义。有研究者认为智能计算是人工智能与计算技术的结合[9-11]。根据人工智能的发展，它标志着智能计算系统的三个不同里程碑。这种视角限制了人工智能领域内智能计算的定义，同时忽略了人工智能的固有局限性以及人、机器和物之间三元交互的重要作用。另一个学派认为智能计算是计算智能。该领域模仿人类或生物智能，实现解决特定问题的最优算法[12]，并将智能计算主要视为一种算法创新。然而，它没有考虑到计算架构和物联网(IoT)在智能计算中扮演的重要角色。我们从解决复杂科学和社会问题的角度出发，考虑到世界的三个基本空间，即人类社会空间、物理空间和信息空间日益紧密的融合，提出了智能计算的新定义。

定义1(智能计算) 智能计算是指在支持全球互联互通的数字文明时代，包含新的计算理论方法、体系结构体系和技术能力的领域。智能计算根据具体的实际需求，以最小的代价来针对计算任务，匹配足够的计算能力，调用最优的算法，得到最优的结果。

智能计算的新定义是为了响应人类社会、物理世界和信息空间三重融合的快速增长的计算需求而提出的。智能计算以人为本，追求高计算能力、节能、智能、安全。其目标是提供通用、高效、安全、自主、可靠和透明的计算服务，以支持大规模和复杂的计算任务。图1显示了智能计算的总体理论框架，它体现了各种各样的计算范式，支持人-物理-信息集成。

首先，智能计算既不是对现有超级计算、云计算、边缘计算以及神经形态计算、光电计算、量子计算等计算技术的替代，也不是简单的集成。而是根据任务要求，系统地、整体地优化现有计算方法和资源，解决实际问题的一种计算形式。相比之下，现有的主要计算学科，如超级计算、云计算和边缘计算，属于不同的领域。超级计算追求高计算能力[13]，云计算强调跨平台/设备便捷性[14]，边缘计算追求服务质量和传输效率。智能计算可以动态协调边缘计算、云计算和超级计算等领域的数据存储、通信和计算。构建多种跨域智能计算系统，支持端到端云协作、云间协作、超级计算互联。智能计算既要利用好现有的计算技术，更要促进新的智能计算理论、架构、算法和系统的形成。

其次，提出智能计算，以解决未来人-物理-信息空间融合发展中存在的问题。随着大数据时代信息技术应用的发展，物理空间、数字空间和人类社会的界限越来越模糊。人类世界已经进化成一个人、机器、物紧密融合的新空间。我们的社会系统、信息系统和物理环境构成了一个巨大的动态耦合系统，人、机、物以高度复杂的方式融合在一起并相互作用，这促进了未来新的计算技术和应用场景的发展和创新。

我们提出了智能计算文献中的第一个全面调查，涵盖了其理论基础，智能和计算的技术融合，重要的应用，挑战，和未来的展望。据我们所知，这是第一篇正式提出智能计算定义及其统一理论框架的综述文章。我们希望这篇综述能够为学术界和工业界的研究人员和实践者提供全面的参考和有价值的见解。

本文的其余部分组织如下。第2节介绍智能计算的基础。第3节总结了各种智能方面赋予的提高计算性能的计算方法。第4节介绍了大型计算系统、新兴的计算架构和满足智能模型对计算能力的迫切需求的模式。第5节展示了智能计算在科学和社会领域的几个重要应用。第6节介绍了对智能计算未来发展的展望。最后，第七部分对全文进行了总结。图2显示了论文的主要结构。

2. 智能计算基础

智能计算是数字文明时代支持万物互联的新计算理论方法、架构系统和技术能力的总称。它探索了许多经典和前沿研究领域的创新，以解决复杂的科学和社会问题。智能计算的基本要素包括人类智能、机器能力和由所有事物组成的物理世界。在本节中，我们将介绍智能计算所期望的智能能力和计算能力。我们还描述了智能计算的特点以及在人-物理-信息世界中如何将智能和计算结合起来。

在该理论框架中，人是智能计算的核心，是智慧的源泉，代表着原始的、固有的智能——元智能。元智能包括理解、表达、抽象、推理、创造、反思等人类高级能力，其中包含了人类积累的知识[15-21]。所有的智能系统都是由人类设计和建造的。因此，在智能计算的理论体系中，人的智慧是智能的源泉，而计算机是由人的智能赋予的。我们称计算机的智能为通用智能。通用智能是指计算机解决复杂问题的能力，具有广泛的外延，包括自然语言处理[22]、图像识别[23]、语音识别[24]、目标检测与跟踪[25]等。元智能和一般智能之间的关系如图3所示，并在以下部分详细说明。

智能计算面临大场景、大数据、大问题、无所不在需求的挑战。算法模型变得越来越复杂，需要超级计算能力来支持越来越大的模型训练。目前，计算资源已成为提高计算机智能研究水平的障碍。随着智能算法的发展，计算资源丰富的机构可能会形成系统的技术垄断。经典的超级计算机不适合人工智能对计算能力的需求。虽然算法优化可以在一定程度上减少对计算能力的需求，但并不能从根本上解决这个问题。需要从体系结构、加速模块、集成模式、软件栈等多个维度进行全面优化。

在本小节中，我们首先介绍智能计算发展的主要特征，然后揭示获得这些关键特征的创新路径。

3. 计算智能基础

提高计算的通用性是智能计算的关键。现实场景中的问题，如模拟、图形等，需要各种各样的计算。智能计算的另一个关键点是如何提高计算的智能水平。从经验上讲，我们都需要向自然界的智能生物学习，计算也不例外，比如三种经典的智能方法:人工神经网络、模糊系统和进化计算。智能计算理论包括但不限于上述类型的计算，以达到高水平的普遍性和智能化。

4. 面向智能的计算

深度学习的2012年的开创性模型相比，2020年公布的最大模型需要600万倍的计算能力。在强调了这一趋势并试图量化2018年的增长速度后，OpenAI的研究人员得出结论，这种快速增长不可能永远保持下去。事实上，隐现的经济放缓可能已经开始。从历史上看，人工智能的快速变化一直是由新想法或革命性理论推动的。通常，最新的最先进的模型只依赖于更大的神经网络和更强大的处理系统，而不是以前用来实现相同目标的那些。OpenAI的研究人员在2018年进行了一项基于计算能力跟踪最大模型增长的研究[159]。在人工智能研究的历史中，他们使用必要的计算量来训练一些最著名的人工智能模型，他们发现随着计算资源的快速增长有两个趋势。他们的研究表明，开发一个突破性模型所需的计算能力的增长速度与摩尔定律(Moore’s law)几乎相同。摩尔定律是一个长期存在的观察，即在2012年之前，单个微芯片的计算能力往往每两年翻一番。