《自然-机器智能》：神经形态技术可使大型深度学习网络节能16倍
大数据文摘授权转载自学术头条
受生物大脑机制的启发，研究人员一直在提高人工神经网络的性能效率和计算要求。一项新的研究表明，对于大型深度学习网络，神经形态技术的能源效率有望达到其他人工智能系统的 16 倍。
格拉茨技术大学（TU Graz）理论计算机科学研究所的研究人员首次通过实验证明，大型神经网络可以处理句子等序列，同时在神经形态硬件上运行时消耗的能量比非神经形态硬件少 4 到 16 倍。
该研究由人类大脑计划（HBP）资助，HBP 是世界上最大的研究项目之一，包括欧洲500 多名研究人脑的科学家和工程师。研究结果以“Memory for AI Applications in Spike-based Neuromorphic Hardware”为题发表在 Nature Machine Intelligence 上。
近年来，人工神经网络（ANN）已成为人工智能（AI）中最著名的方法，并在计算机视觉、汽车控制、飞行控制和医疗系统等各个领域取得了卓越的性能。
能够自主识别和推断对象以及不同对象之间关系的智能机器和智能计算机，是全球人工智能研究的重要主题。但是，能源消耗是此类 AI 方法更广泛应用的主要障碍。
一直以来，科学家们希望神经形态技术能够推动正确的方向发展。要知道，人类大脑在使用能量利用方面非常高效。为了处理信息，我们的大脑中千亿个神经元只消耗大约 20 瓦的能量，也就是相当于一个普通的节能灯泡的能耗。而神经形态技术就是以人脑为模型。
在这项最新研究中，研究团队专注于处理时间过程的算法。例如，系统必须回答有关先前讲述的故事的问题，并从上下文中掌握对象或人之间的关系。测试的硬件由 32 个 Loihi 神经形态研究芯片组成，该芯片利用神经科学的见解来创建类似于生物大脑的功能。
在这项研究的神经形态网络中，研究人员复制了一种大脑记忆机制，正如理论计算机科学研究所博士生导师 Wolfgang Maass 所解释的那样，实验研究表明，即使没有神经活动，人脑也可以在短时间内存储信息，即在所谓的神经元“internal variables”。模拟实验表明，神经元子集的疲劳机制对于这种短期记忆至关重要。
缺乏直接证据是因为这些内部变量还无法测量，但这确实意味着神经网络只需要测试哪些神经元当前处于疲劳状态，就可以重建它之前处理过的信息。换句话说，先前的信息存储在神经元的不活动中，而不活动就消耗最少的能量。
为此，研究人员将两种类型的深度学习网络联系起来。反馈神经网络负责“短期记忆”，许多此类所谓的循环模块从输入信号中过滤掉可能的相关信息并将其存储。前馈网络确定找到的关系对于解决手头的任务非常重要。无意义的关系被筛选掉，神经元只在那些已经找到相关信息的模块中激发。这个过程最终导致了能耗的大大降低。
TU Graz 理论计算机科学研究所的博士生 Philipp Plank 说，“我们的神经形态技术系统比传统硬件上的其他 AI 模型的能效高 4 到 16 倍，随着这些模型迁移到下一代 Loihi 硬件，Plank 预计效率会进一步提高，从而显着提高芯片间通信的性能。”
这项研究得到了英特尔和欧洲人类大脑计划的资金支持，人类大脑计划旨在将神经科学、医学和受大脑启发的技术联系起来。为此，该项目正在创建一个永久性的数字研究基础设施——EBRAINS。
“神经形态芯片有望为人工智能带来收益，尤其是通过降低其高昂的能源成本。这项研究提供了更多证据，表明神经形态技术可以通过从生物学的角度重新思考，来提高当今深度学习工作负载的能源效率。”英特尔神经形态计算实验室主任 Mike Davies 表示。
“循环神经结构有望为未来在神经形态硬件上运行的应用程序提供最大的收益，神经形态硬件非常适合促进我们在大脑中观察到的快速、稀疏和不可预测的网络活动模式，并且是节能的 AI 应用程序所需要的。”
参考资料：
https://www.sciencedaily.com/releases/2022/05/220524100612.htm
https://www.nature.com/articles/s42256-022-00480-w
相关内容
微信扫码咨询专知VIP会员