Embedded and personal IoT devices are powered by microcontroller units (MCUs), whose extreme resource scarcity is a major obstacle for applications relying on on-device deep learning inference. Orders of magnitude less storage, memory and computational capacity, compared to what is typically required to execute neural networks, impose strict structural constraints on the network architecture and call for specialist model compression methodology. In this work, we present a differentiable structured network pruning method for convolutional neural networks, which integrates a model's MCU-specific resource usage and parameter importance feedback to obtain highly compressed yet accurate classification models. Our methodology (a) improves key resource usage of models up to 80x; (b) prunes iteratively while a model is trained, resulting in little to no overhead or even improved training time; (c) produces compressed models with matching or improved resource usage up to 1.7x in less time compared to prior MCU-specific methods. Compressed models are available for download.


翻译:微型控制器(MCUs)为嵌入式和个人的IoT装置提供动力,这些装置极缺乏资源,是依靠深深学习推导进行应用的主要障碍。与执行神经网络通常需要的相比,数量小于存储、内存和计算能力,对网络结构施加严格的结构性限制,并要求采用专家模型压缩方法。在这项工作中,我们为进化神经网络提供了一种不同的结构化网络运行方法,该方法结合了模型的MCU特定资源使用情况和参数重要性反馈,以获得高度压缩但准确的分类模型。我们的方法(a)改进模型的关键资源使用,最多达80x;(b)在模型培训期间进行迭接,几乎没有间接费用,甚至改进了培训时间;(c)制作压缩模型,与以往的MCU特定方法相比,在较少的时间里匹配或改进资源使用达到1.7x。有压缩模型可供下载。

0
下载
关闭预览

相关内容

牛津大学最新《计算代数拓扑》笔记书,107页pdf
专知会员服务
42+阅读 · 2022年2月17日
区块链白皮书,44页pdf
专知会员服务
91+阅读 · 2021年12月30日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【干货书】金融数学概念和计算方法的导论,290页pdf
专知会员服务
61+阅读 · 2020年11月16日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
计算机类 | PLDI 2020等国际会议信息6条
Call4Papers
3+阅读 · 2019年7月8日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
已删除
将门创投
4+阅读 · 2018年11月15日
计算机类 | SIGMETRICS 2019等国际会议信息7条
Call4Papers
9+阅读 · 2018年10月23日
Arxiv
0+阅读 · 2022年2月16日
Attention Network Robustification for Person ReID
Arxiv
5+阅读 · 2019年10月15日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
Arxiv
9+阅读 · 2018年10月18日
Arxiv
6+阅读 · 2018年7月9日
VIP会员
相关VIP内容
相关资讯
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
计算机类 | PLDI 2020等国际会议信息6条
Call4Papers
3+阅读 · 2019年7月8日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
已删除
将门创投
4+阅读 · 2018年11月15日
计算机类 | SIGMETRICS 2019等国际会议信息7条
Call4Papers
9+阅读 · 2018年10月23日
Top
微信扫码咨询专知VIP会员