超维计算概念、应用及研究进展

超维计算是一种受大脑工作机制启发的新兴认知模型, 使用信息的高维、随机、全息分布式表示作为处理对象, 具有低运算成本、快速学习过程、高硬件友好性、强鲁棒性、不依赖大数据和优异的模型可解释性等优势, 在分类识别、信号处理、多任务学习、信息融合、智能决策等领域有着良好的应用前景。近年来, 超维计算受到的关注量持续增加, 展现出巨大的发展潜力, 为研究人员提供了一种新选择。本文详细介绍了超维计算的发展历史、基本原理和模型框架, 给出超维计算的典型应用实例, 并对超维计算现阶段存在的问题和未来可能的发展方向进行了探讨。

0 引言

如何使计算机具有和人脑类似甚至更好的记忆、学习、联想、认知和思考能力, 是长期以来广大研究人员共同希望解决的难题之一。神经科学在寻求解释人类神智活动的同时, 也为机器学习领域提供了丰富的灵感来源, 并由此衍生出了一系列类人脑人工智能算法。例如, 从神经细胞间信息传递模型抽象出的单层感知机[1]和在其基础上发展的深度神经网络[2], 假定神经元突触相互作用是线性累加的相关矩阵存储器(correlation matrix memories, CMM)[3-4], 受视网膜神经元感受野启发的卷积神经网络[5], 借鉴大脑激活稀疏性的稀疏编码[6], 以及模拟大脑如何在嘈杂环境中将注意力集中到某个特定声音的独立成分分析(independent component analysis, ICA)算法[7]等。其中, 神经网络在被提出初期, 由于其较大的模型规模和当时有限的计算机算力, 模型训练困难, 准确率有限。直到2012年基于深度卷积神经网络的AlexNet模型[8]取得突破性进展后, 神经网络的相关研究在图像识别[9]、自然语言处理[10]、语音识别[11]等诸多领域得到了广泛应用, 以神经网络为代表的连接主义模型迅速成为了人工智能领域的研究热点。 随着需要处理的任务难度不断上升, 神经网络模型不断向着更深、更广、更复杂的趋势发展。但是, 这一趋势直接使神经网络的模型规模越来越庞大。目前, 常用的神经网络模型, 需要训练的参数量一般都在百万以上。巨大运算量带来的漫长训练时间对硬件设备的精度和性能要求较高, 也需要更多的能耗和更好的模型稳定性。较低的硬件友好性也使神经网络很难在物联网、嵌入式系统等小型平台上完成实时片上训练。此外, 神经网络模型的训练依赖大数据驱动、无指标调参和浮点数迭代运算, 而大脑产生认知并执行决策时所需样本很少, 快速联想能力强且容错性高, 两者存在着本质差异。虽然在很多实际应用中, 黑匣式神经网络模型做出的决策判断取得了良好的识别效果, 但目前神经网络模型提取的特征和产生决策的具体逻辑仍然在语义层面难以理解, 并且缺乏标准的数学工具定量评估模型的泛化能力和实际学习能力, 其可信度和可解释性有限。大量工作围绕解决神经网络算法存在的上述问题开展, 例如减少样本需求并加速训练过程的小样本学习[12]、简化模型结构的剪枝技术[13]、增加模型可解释性的可视化技术[14-15]等。

然而, 这些在神经网络模型中需要通过额外处理才能在特定情况下实现的特性, 直接且自然地存在于超维计算基本架构中[16]。因此, 虽然超维计算的理论雏形早在20世纪80年代就被提出[17], 在近年来也作为一种新兴技术重新得到了全球范围内的关注和系统性的研究。

超维计算[18]同样是理论神经科学与计算机科学交叉领域的产物。与上文提到的神经网络等人工智能算法相比, 相同之处在于其都将信息的高维分布式表示作为数据的表示方式或处理过程中的基本环节。生物学中的相关研究表明, 许多生物的感觉系统中都有一个将相对低维的感觉输入信号转化为高维稀疏表示的器官, 并使用此高维表示实现后续的认知行为[19-20], 此特点与这些算法中高维的概念相符。不同之处在于, 超维计算将记忆的产生和回忆看作是一种高维的全局随机映射与相似度匹配, 类似大脑中海马体将短时记忆信息经过加工转化后形成大脑皮层长时记忆的方式[21], 将新信息通过联想、筛选和整合, 添加至已有的信息编码中, 这与神经网络等连接主义模型中的多层复合数值运算不同。

在超维计算中, 每一个实体都被编码映射为一个超维向量, 即一个维度为数千、数万或更高的高维矢量。实体的信息被全息地分布在超维向量中的每个元素上, 每个元素之间几乎是独立的。在超维向量所在的超维空间中, 通过对向量进行加法、乘法和排列等简单运算即可产生丰富且具有特殊性质的数学计算行为[16], 进而实现后续的高能效、高鲁棒性认知操作[22-25]。在实际应用中, 超维向量的运算通常由简单高效的逐位二进制整数运算实现。模型不依赖于大数据驱动, 对每个样本通过一次编码映射即可完成训练, 使超维计算所需的运算成本和对硬件性能的要求极低, 具有超快速的训练时间和数据刷新率。其硬件友好性使小成本片上训练成为可能, 并且在获得新样本时, 已有模型可以实时更新与学习。同时, 由于超维计算中的运算都是可逆的, 模型也具有良好的可验证性和可解释性。

总的来说, 超维计算以其更快的学习过程、更低的延迟率、更高的能效、更贴合神经科学的鲁棒性、更轻量的模型规模、更少的样本需求和更多的可解释特征, 成为一种极具前途的片上实时学习和识别方法[26], 从基本架构上直接解决了神经网络等人工智能算法存在的问题, 作为一种新兴轻量级分类器提供了辅助甚至取代现有传统机器学习方法的可能性[27-28]。目前, 有关超维计算的系统理论、工程应用以及与其他算法配合使用的研究仍然处在快速发展阶段。

超维计算已经在语音识别[29]、语言识别[30-31]、手写数字识别[32]、合成孔径雷达(synthetic aperture radar, SAR)图像识别[33]、人体姿态识别[26]、生物信号处理[34-36]、脱氧核糖核酸(deoxyribonucleic acid, DNA)模式匹配[37]、多任务学习[38]、多传感器信息融合[39-41]和脑机接口[42]等诸多领域得到了很好的应用。特别是在计算资源严格受限的设备上, 例如树莓派[43](raspberry pi, RPi)、特定应用集成电路[44-45](application specific integrated circuit, ASIC)、现场可编程门阵列[46-47](field programmable gate array, FPGA)、可变电阻式存储器[48-49](resistive random-access memory, ReRAM)和相变存储器[50](phase change memory, PCM), 超维计算的优势将更加突出。

然而, 目前国内文献中暂时还没有超维计算相关的研究内容, 对此算法进行相关研究的国内团队也较少。因此, 本文将围绕超维计算的发展历史、基本原理、典型应用以及存在的问题和未来发展方向几个方面, 对超维计算理论进行系统性地阐述、分析和研究, 基于其研究进展, 为超维计算在更多相关领域中的应用提供一定的可行性和可能性。