成果解读 | “自组织”让“电老虎”少吃多干

CASIA

解锁更多智能之美

云计算、大数据、人工智能等技术的快速发展和广泛应用，让这些领域成了“电老虎”。新思界产业研究中心的《2021年全球及中国数据中心加速器产业深度研究报告》预测，到2025年，仅全球数据中心消耗的电能将占全球总发电量的五分之一。

近日，中科院脑智卓越中心研究员徐波、蒲慕明联合研究团队在线发表于《科学进展》的研究，利用介观尺度自组织反向传播机制（SBP），在更高效率、更灵活的类脑局部学习方面取得了重要进展。该技术能在机器学习过程中，降低计算能耗的同时又不损失精度，也许能让这些“电老虎”少吃多干。

能耗的瓶颈

人工智能在某些领域表现出巨大的优势，比如在围棋方面，阿尔法狗(AlphaGo) 完胜人类世界围棋冠军；在电子游戏《星际争霸2》的竞技中，阿尔法星际（AlphaStar）以10:1的总比分“狂虐”职业玩家。

近年来，随着数据量越来越大、算力越来越强、大规模预训练模型对能源的要求也越来越高。据伦敦大学学院教授David Attwell团队对单个神经元耗能的计算，大脑的能耗约16.6瓦，对于人体而言, 大脑只需要不到20瓦的功率就可以应对复杂思考任务。与之相比，战胜柯洁的阿尔法狗，耗电量相当于12760个人类大脑。

“预训练模型的参数提高以后，人工智能的性能确实更强了，但能耗问题也不容忽视。”该论文第一作者、中国科学院自动化所副研究员张铁林对《中国科学报》说，“研究者普遍认为，人工智能的表现还应更好一些。比如，进行同样运算而消耗更少的能源。”

模拟人类大脑运行过程是人工智能的一个重要途径，在人工智能研究领域，目前人工神经网络中被广泛使用的反向传播算法（BP）采用全局优化策略，这种端到端的学习方法性能卓越，但学习过程能量消耗大，且缺乏灵活性。

“在精度不受影响的前提下，降低能耗是我们这项研究的目的之一。”徐波告诉《中国科学报》，“现在很多的算法、包括人工智能的大模型也远未达到人脑的参数量。大脑维持这么多神经元运算，其实是非常节能的。如果我们在算法设计之初，让机器能像人那样去学习，也许我们的模型就不必那么大，学习训练的时候也不会那么耗电。”

向大脑学习

“我们想借用一些生物学领域取得的进展，弄清楚大脑是怎么在低能耗的情况下高效学习的。”张铁林说，“所以蒲慕明老师给徐波老师团队推荐了很多算法，并保持着非常深入的合作研究。”

1997年，蒲慕明团队在《自然》杂志发表论文，揭示了海马体内神经元可以将长时程抑制（LTD）可塑性自组织地传播到三个方向，分别是突触前侧向传播、突触后侧向传播、反向传播，这个发现就是自组织反向传播神经可塑性机制（SBP）。

进一步的研究证实，SBP现象具有普遍性，不仅覆盖更多的神经区域如视网膜-顶盖系统，还覆盖更多的可塑性类型，如长时程增强。该机制的发生归结于生物神经元内分子调制信号的天然逆向传递，被认为是可能导致生物神经网络高效反馈学习的关键。

研究团队受到该机制的启发，对SBP的反向传播方向（第三个方向）单独构建数学模型，重点描述了神经元输出突触的可塑性可以反向传播到输入突触中，可塑性的发生可以通过时序依赖突触可塑性，也可以通过人工局部梯度调节。在标准三层脉冲神经网络（SNN）的学习过程中，SBP机制可以自组织地完成前一层网络权重的学习，且可以结合短时突触可塑性、膜电位平衡等，形成更强大的SNN组合学习方法。

由于涉及前沿生物技术，有很多生物机制计算机验证起来非常困难。

“蒲老师讲完这一机制，我们读完相关论文，刚开始觉得这个工作并不复杂。”张铁林说，“但真正应用到模型上时却困难重重、一筹莫展。”

张铁林等人是搞计算机研究的，读生物领域的论文比较难，“很多时候并不完全懂”。而且大脑中有多个关联机制，要不要跟SBP结合？要怎么结合？神经元的突触往前传多少？传给谁？有没有什么倾向性？所有这些问题都没有答案， 感觉“有很多缺失的信息需要去补”。

没有标准答案，研究人员只能先结合网络情况进行论证分析，再设置一个可优化的参数，用一些特殊的方法构建“能量函数”来约束一些变量，然后把这个机制放到脉冲网络里去验证。

然而经过多次尝试，结果却并不理想。他们只好在回过头来重新认识“生物学规则”。随着学习的深入，蒲慕明也建议他们做一些小实验来模仿类似生物的小网络。慢慢地，这种机制就逐步明确起来了。

“从科研的角度来讲，要先做减法，把它的重要性弄清楚、体现出来，后面再做加法，加更多的机制、变量和条件。”张铁林说，“目前我们只是在一些标准的简单模型上进行了验证。因为如果模型太复杂，会说不清楚SBP在其中到底贡献了什么。下一步我们会在更大规模的模型上进行验证。”

研究团队针对性地提出一种统计训练过程中能量消耗的新方法。在图片分类、语音识别、动态手势识别等多类标准数据集上，SBP机制通过组合其它可塑性机制，实现了更低能耗和更高精度的SNN局部学习。在一些人工网络的学习中，SBP机制也可以大量的替换BP机制实现全局和局部交叉学习，在降低计算能耗同时却不损失精度。

“自组织”的优势

“生物智能计算的本质，很可能就是灵活融合多类微观、介观等可塑性机制的自组织局部学习，结合遗传演化赋予的远程投射网络结构，实现高效的全局优化学习效果。”蒲慕明告诉《中国科学报》，“该工作可以进一步引导生物和人工网络的深度融合，最终实现能效比高、可解释性强、灵活度高的新一代人工智能模型。”

目前，反向传播机制已经是一种优化的结果，作为一种标准模型，它基本上覆盖了脉冲和人工网络模型，效果也不错。

“但其能耗和学习效率方面，还可以再优化一些，从各个尺度上再提升一下。”张铁林说，“我们在训练时，也采取混合式的训练方法，一部分采用BP（人工反向传播）的方法，一部分采取SBP（自组织反向传播）的方法。”

研究人员认为，SBP是一类介观尺度的特殊生物可塑性机制，具有自平衡、自组织、可传播等特点，因此在神经网络学习中可以展示出较好的组合优化优势。

“人工的反向传播算法靠整体目标函数去驱动，每次计算时既慢又耗能，特别是在网络比较大的时候，问题就更明显了。”张铁林说，“如果一个算法是自组织的，它就可以像大脑一样无监督学习，可以进行局部运算，就比较节能了。”

目前，该团队已经在一些小型、浅层的人工网络上做过测试。结果表明，最好的时候，可以在保持原来性能的基础上，把能耗降到原来的21%左右。

“比如，原来需要100块GPU去训练，现在只需要21块就够了。”张铁林说，“这在进行大模型训练的时候就比较重要了。”

SBP只是一个开始，它对进一步深入探索类脑局部计算具有很大的启示。

“将来还有很多和脑智卓越中心生物科学团队的交叉合作研究。”徐波说，“相信人工智能领域未来还有很大的进步空间，这些受生物启发的学习法则可以帮助人们更好地填补这些空白。”

论文信息：

https://www.science.org/doi/10.1126/sciadv.abh0146

来源 |《中国科学报》

作者 | 张双虎            

相关阅读

点击即可查看

自动化所Science Advances发文揭示介观自组织反向传播机制助力AI学习

封面图片来源自网络

---

欢迎后台留言、推荐您感兴趣的话题、内容或资讯！

如需转载或投稿，请后台私信。