**深度神经网络(DNN)在许多领域都提供了最先进的性能,但这一成功是以高计算和内存资源为代价的。**由于DNN推理在边缘和云系统上都是一种流行的工作负载,因此迫切需要提高其能效。改进的效率使dnn能够在更大范围的目标市场中使用,并有助于提高性能,如果今天经常受到功率限制。本文采用软硬件协同设计的方法,提高了不同硬件平台上深度神经网络推理的性能。我首先展示了一些降低DNN运行时成本的软件优化技术。总的来说,我证明了模型大小可以减少34倍。不同风格的神经网络压缩技术的组合可以在缩小内存足迹方面提供成倍的收益。这些技术适用于在内存敏感的边缘设备上运行DNN推理。利用运行时和依赖数据的特征信息,我开发了一种动态剪枝策略,其性能明显优于现有的静态剪枝方法。所提出的动态剪枝不仅减少了模型大小,而且减少了GPU的乘累加操作数量。我还介绍了一种新的量化机制,该机制被调整为适合模型参数的自然分布,这种方法减少了DNN推断所需的位操作总数。然后,本文专注于使用自定义硬件加速DNN。构建了一个名为Tomato的框架,它在FPGA设备上生成多精度和多算法硬件加速器。软硬件联产流程从高层神经网络描述中部署硬件加速器,利用FPGA器件的硬件可重构性支持灵活的每层量化策略。然后,我证明了自动生成的加速器在延迟和吞吐量方面比最接近的基于FPGA的竞争对手至少高出2到4倍。为ImageNet分类生成的加速器以每秒超过3000帧的速度运行,延迟仅为0.32ms,使其成为延迟关键、高吞吐量的云端推理的合适候选。最后,我展示了自动化机器学习技术如何通过硬件感知来改进,以为新兴类型的神经网络和新的学习问题设置产生高效的网络架构。硬件感知的网络架构搜索(NAS)能够发现更节能的网络架构,并在图神经网络等新兴神经网络类型上实现显著的计算节省。在8个不同的图数据集上与7个人工和NAS生成的基线相比,所提出的低精度图网络架构搜索提高了大小-精度的帕累托前沿。此外,我演示了硬件感知的NAS可以应用于多任务多设备少样本学习场景。在具有各种硬件平台和约束的流行的少样本学习基准中,所提出的方法的性能明显优于各种NAS和人工基准。在5路1样本Mini-ImageNet分类任务上,所提方法在减少60%计算量的情况下,比最好的人工基线在准确率上提高了5.21%。

成为VIP会员查看完整内容
48

相关内容

剑桥大学(英语:University of Cambridge;勋衔:Cantab)为一所座落于英国剑桥郡剑桥市的研究型大学。它是英语世界中历史第二悠久的大学,也是世界现存第四古老的大学。剑桥大学的起源为一群牛津大学的学者,因与牛津市民发生冲突而移居至剑桥。剑桥与牛津这两所在中世纪建立的英国大学,在校务运作、学术声望、社会地位等多方面都非常相似,经常合称为“牛剑”
【普林斯顿博士论文】构建高效深度神经网络,195页pdf
专知会员服务
62+阅读 · 2023年2月8日
【博士论文】图处理加速架构研究
专知会员服务
24+阅读 · 2022年12月10日
【伯克利博士论文】硬件感知的高效深度学习,154页pdf
专知会员服务
69+阅读 · 2022年10月20日
【伯克利Alvin Wan博士论文】高效设计深度神经网络
专知会员服务
57+阅读 · 2022年5月21日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年3月31日
Arxiv
0+阅读 · 2023年3月31日
Arxiv
19+阅读 · 2022年10月6日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员