《嵌入式深度学习和高级计算》美空军2023最新报告

本最终技术报告总结了 2018 年 9 月至 2022 年 9 月期间 AFRL 项目 "嵌入式深度学习和高级计算 "的研发工作。该项目涉及两个重要的技术趋势：使用深度神经网络（DNN）的深度学习正迅速成为许多机器学习应用的首选方法，而网络边缘的嵌入式设备正变得越来越广泛。通过这两种技术的融合，我们可以看到新一代嵌入式设备的出现，它们可以执行智能任务，如学习未知环境和感兴趣的目标、周围环境的三维映射、执行数据分析以及根据本地数据进行预测。这些设备构成了所谓的人工智能物联网（AIoT）[1]。

本研究项目研究的基础技术可促进未来嵌入式深度学习的高效训练和推理计算系统。研究的主要方法包括 (1) 使用随机舍入的可变精度分块浮点；(2) 采用术语量化，将浮点数量化为 2 次幂术语，而不是传统的均匀量化；(3) 使用特定领域词汇对预训练语言模型进行调整；(4) 通过使用恒定带宽块的调度最大限度地减少内存访问；(5) 在算法的协同设计中应用全栈优化、 (6) 为可穿戴计算拆分神经网络，(7) 设计用于检测输入到 DNN 的非分布式输入的算法，(8) 为高效的 DNN 系统阵列实现打包稀疏 DNN，(9) 为 DNN 的 3DIC 实现设计内存逻辑架构和系统构建模块，以及 (10) 在内存计算中利用位级稀疏性。

引言

卷积神经网络（CNN）等深度神经网络（DNN）实现了深度学习。它们具有多层非线性特征转换，每增加一层就能提取出越来越好的特征。然而，训练一个大型 DNN 并在这样的网络上执行推理需要耗费大量的时间和精力。对于大型语言模型（LLM）和生成式对抗网络（GAN）等大型深度网络来说，训练成本很高。由于小型人工智能物联网（AIoT）设备在处理能力、内存占用和功耗预算方面存在严格的资源限制，因此在这些设备上进行训练和推理更具挑战性。有必要共同设计算法、模型和硬件参数，以便在这些嵌入式设备上执行高效的训练和推理。在为嵌入式设备训练复杂的深度模型时，并行处理、管理内存访问时间表和利用数据稀疏性等高级计算技术至关重要。

本项目旨在针对嵌入式深度学习和推理中的关键挑战开展广泛研究。例如，我们探索了嵌入式深度学习与基于并行和分布式计算的高级计算之间的相互作用。该项目利用了 PI 在相关领域的经验，包括他早期在系统阵列以及分布式和嵌入式神经网络架构方面的工作。我们将在本报告的其余部分重点介绍我们已发表的部分成果。