State-of-the-art performance for many emerging edge applications is achieved by deep neural networks (DNNs). Often, these DNNs are location and time sensitive, and the parameters of a specific DNN must be delivered from an edge server to the edge device rapidly and efficiently to carry out time-sensitive inference tasks. We introduce AirNet, a novel training and analog transmission method that allows efficient wireless delivery of DNNs. We first train the DNN with noise injection to counter the wireless channel noise. We also employ pruning to reduce the channel bandwidth necessary for transmission, and perform knowledge distillation from a larger model to achieve satisfactory performance, despite the channel perturbations. We show that AirNet achieves significantly higher test accuracy compared to digital alternatives under the same bandwidth and power constraints. It also exhibits graceful degradation with channel quality, which reduces the requirement for accurate channel estimation.


翻译:许多新兴边缘应用的最先进的性能是由深神经网络(DNNs)实现的。这些DNNs通常对位置和时间敏感,而特定的DNN的参数必须从边缘服务器迅速、高效地从边缘服务器传送到边缘装置,以完成时间敏感推理任务。我们引入了AirNet,这是一个新培训和模拟传输方法,允许高效无线传送DNes。我们首先用注入噪音的方式对DNN进行DN进行测试,以对抗无线频道的噪音。我们还利用修剪,以减少传输所需的频道带宽,并用更大的模型进行知识蒸馏,以达到令人满意的性能。我们表明,AirNet在相同的带宽和功率限制下,与数字替代方法相比,其测试精度要高得多。它还显示出频道质量的优劣,从而降低了对频道进行准确估计的要求。

0
下载
关闭预览

相关内容

专知会员服务
74+阅读 · 2021年5月28日
【如何做研究】How to research ,22页ppt
专知会员服务
109+阅读 · 2021年4月17日
【斯坦福CS224W】图神经网络GNN高级主题,60页ppt
专知会员服务
72+阅读 · 2021年3月5日
一份简单《图神经网络》教程,28页ppt
专知会员服务
125+阅读 · 2020年8月2日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
182+阅读 · 2020年4月26日
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
41+阅读 · 2020年3月9日
强化学习最新教程,17页pdf
专知会员服务
177+阅读 · 2019年10月11日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
3+阅读 · 2018年8月17日
Arxiv
6+阅读 · 2018年7月9日
VIP会员
相关VIP内容
专知会员服务
74+阅读 · 2021年5月28日
【如何做研究】How to research ,22页ppt
专知会员服务
109+阅读 · 2021年4月17日
【斯坦福CS224W】图神经网络GNN高级主题,60页ppt
专知会员服务
72+阅读 · 2021年3月5日
一份简单《图神经网络》教程,28页ppt
专知会员服务
125+阅读 · 2020年8月2日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
182+阅读 · 2020年4月26日
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
41+阅读 · 2020年3月9日
强化学习最新教程,17页pdf
专知会员服务
177+阅读 · 2019年10月11日
Top
微信扫码咨询专知VIP会员