能耗优化的神经网络轻量化方法研究进展

近年来，神经网络在语音识别、计算机视觉、自然语言处理等领域都取得了良好的进展. 大量的神经网 络被部署于诸如手机、摄像头等依赖电池或太阳能供电的小型设备. 但神经网络参数量大计算复杂，需占用大量 计算资源并消耗电能，从而限制了其在资源受限平台上的应用. 学术界和工业界逐渐关注于神经网络的高能耗问 题. 神经网络轻量化方法可以有效地减少参数数量、降低参数精度或优化计算过程从而降低神经网络能耗. 本文 从能耗优化的角度梳理了神经网络能耗估算方法和神经网络轻量化方法的基本思路，综述了近年来该领域主要研 究成果，并提出了能耗估算和能耗优化的神经网络轻量化方法存在的挑战及进一步研究的方向. 其中神经网络能 耗估算方法包括测量法、分析法和估算法. 能耗优化的神经网络轻量化方法包括剪枝、量化、张量分解和知识蒸 馏. 对于进一步研究方向我们认为，首先需要建立可自适应网络类型的能耗模型；然后需要考虑平衡精度和能耗 的轻量化方法. 其次需要实现硬件平台可泛化的轻量化方法；最后开发搜索空间可约束的轻量化方法.

http://cjc.ict.ac.cn/online/onlinepaper/gcp-2023112105635.pdf

作为人工智能实现的范式之一，神经网络采用 广泛互联的结构与有效的学习机制来模拟人脑智能 信息处理的过程，是人工智能发展历程中的重要方 法，也是类脑智能研究中的有效工具[1]. 近年来，人 工智能移动化的趋势逐渐显现[2]. 当前，越来越多的 神经网络被部署于依靠电池或太阳能供电的小型移 动设备中，如智能手机、智能摄像头等. 神经网络 的移动端部署助力了许多智能应用的发展，常见的 包括语音助手、在线翻译、人脸识别等. 值得注意 的是，这些智能移动设备的出货量目前呈几何式增 长. 以智能手机为例，到 2022 年，支持 AI 功能的 智能手机出货量占比将从 2017 年的不到 10%提升 到 80%，年销量将超 13 亿部. AI 手机将是未来行业 的产品方向[3]. 到 2023 年，专用的人工智能芯片很 可能已经成为智能手机的标准配置[4]. 这些移动端设备通常外形尺寸较小，依靠电池 或绿色能源供电[5]，因而其可使用的电能有限. 神经 网络的执行涉及大量计算，对电能消耗要求较高. 例如，具有 50 个卷积层的 ResNet-50 在推理阶段处 理图像时需要占用超过 95MB 的内存，执行超过 38 亿次浮点乘法[6]；图像分类的基础网络 AlexNet[7]在 手机端运行不到一个小时就耗光了手机全部电能[8]. 移动端神经网络能耗受限问题日益突出. 能耗受限问题极大地影响了移动端设备的运行 时长，缩短了设备的服务时限，阻碍了移动端设备 的智能化发展[9]. 为了应对能耗受限问题，学术界和 工业界涌现了大量相关研究和解决方案. 一种解决 方案是在云边结合的体系结构下将网络部署于云 端，该方法较为直接地缓解了能耗受限问题，但云 边端通信带来了额外的通信成本，实时性、安全性 较差[10]；另一种解决方案是神经网络能耗优化的神 经网络轻量化方法. 这种解决方案延迟低、安全性 高且具有隐私优势[2]. 能耗优化的神经网络轻量化方法是降低神经网 络在目标设备上能耗需求的有效方法，该方法关注 网络自身的结构特征，压缩成本低、效率高且易于 部署. 本文重点关注能耗优化的神经网络轻量化方 法，从神经网络能耗估算方法和网络轻量化方法两 个方面出发，概述优化思路，叙述具体方法，总结 当前能耗优化的神经网络轻量化方法的研究进展并 提出进一步研究问题与挑战. 在作者文献查找范围 内，本文是绿色计算和高性能计算领域中第一篇针 对能耗优化的神经网络轻量化方法的中文综述，系 统地总结了当前的研究进展. 本文第 2 节将介绍研究问题和思路；第 3 节介 绍能耗估算方法具体细节；第 4 节介绍能耗优化的 神经网络轻量化方法的具体细节；第 5 节提出目前 能耗估算方法和网络轻量化方法存在的问题与挑 战；最后在第 6 节总结全文.