Deep Neural Networks provide state-of-the-art accuracy for vision tasks but they require significant resources for training. Thus, they are trained on cloud servers far from the edge devices that acquire the data. This issue increases communication cost, runtime and privacy concerns. In this study, a novel hierarchical training method for deep neural networks is proposed that reduces the communication cost, training runtime, and privacy concerns by dividing the architecture between edge and cloud workers using early exits. The method proposes a brand-new use case for early exits to separate the backward pass of neural networks between the edge and the cloud during the training phase. We address the issues of most available hierarchical training methods that due to the sequential nature of the training phase, cannot train the levels of hierarchy at the same time or they do it with the cost of privacy. In contrast to these schemes, our method can use both edge and cloud workers simultaneously, does not share the raw input data with the cloud, and does not require communication during the backward pass. Several simulations and on-device experiments for different neural network architectures are done to demonstrate the effectiveness of this method. It is shown that the method reduces 29% and 61% runtime in CIFAR-10 classification experiment for VGG-16 and ResNet-18 when the communication with the cloud is done over the 3G protocol. This gain in the runtime is achieved whilst the accuracy drop is negligible. This method can be inspirational to provide online learning of high-accuracy deep neural networks on low-resource devices such as mobile phones or robots as a part of an edge-cloud system, making them more flexible in facing new tasks and classes of data in the future.


翻译:深神经网络为视觉任务提供了最先进的精确度,但需要大量培训资源。 因此, 他们可以在远离获取数据的边缘设备的云端服务器上接受培训。 这个问题增加了通信成本、 运行时间和隐私问题。 在这次研究中, 为深神经网络提出了一种新的等级培训方法, 降低通信成本、 培训运行时间和隐私问题, 从而通过使用早期出口将边缘工人和云层工人分开, 从而降低通信成本、 培训运行时间和隐私问题。 该方法为早期出口的边缘工人和云层工人提供了一个全新的使用选项, 以在培训阶段将神经网络的边缘和云层之间的后端路隔开来。 我们解决了由于培训阶段的顺序性质,无法同时培训成本、 运行时间和隐私问题。 与这些方法相比, 我们的方法可以同时使用边缘工人和云层工人, 不与云层工人共享原始输入数据, 也不需要在后端传输过程中进行通信。 在不同的神经网络结构中, 几次模拟和内端实验是为了展示这一方法的有效性。 由于培训阶段的级别培训阶段, IM- IM- IM- AS IM IM II 3 运行中, 这个方法可以降低 IM- IM- IM- IM- IM- IM- IM- IM- IM- IM- IM- 运行 IM IM 系统 运行中 的 IM IM- IM- IM IM IM IM- IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM II IM IM IM IM IM IM IM IM IM IM IM IM IM IM II IM IM IM II IM IM IM II IM IM IM IM II IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM IM </s>

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
【2022新书】高效深度学习,Efficient Deep Learning Book
专知会员服务
118+阅读 · 2022年4月21日
专知会员服务
60+阅读 · 2020年3月19日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年4月25日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
13+阅读 · 2021年5月25日
Hierarchical Graph Capsule Network
Arxiv
20+阅读 · 2020年12月16日
VIP会员
相关资讯
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员