Deep learning algorithms have made many breakthroughs and have various applications in real life. Computational resources become a bottleneck as the data and complexity of the deep learning pipeline increases. In this paper, we propose optimized deep learning pipelines in multiple aspects of training including time and memory. OpTorch is a machine learning library designed to overcome weaknesses in existing implementations of neural network training. OpTorch provides features to train complex neural networks with limited computational resources. OpTorch achieved the same accuracy as existing libraries on Cifar-10 and Cifar-100 datasets while reducing memory usage to approximately 50\%. We also explore the effect of weights on total memory usage in deep learning pipelines. In our experiments, parallel encoding-decoding along with sequential checkpoints results in much improved memory and time usage while keeping the accuracy similar to existing pipelines. OpTorch python package is available at available at \url{https://github.com/cbrl-nuces/optorch


翻译:深层学习算法取得了许多突破,在现实生活中具有各种应用。计算资源随着深层学习管道的数据和复杂性的增加而成为瓶颈。在本文件中,我们提议在培训的多个方面,包括时间和记忆方面优化深层学习管道。OpTorrch是一个机器学习图书馆,旨在克服目前实施神经网络培训方面存在的弱点。OpTorrch为培训计算资源有限的复杂神经网络提供特征。OpTorrch实现了与Cifar-10和Cifar-100数据集现有图书馆相同的准确性,同时将记忆用量减少到约50 ⁇ 。我们还探讨了深层学习管道中总记忆用量的权重。在我们的实验中,平行编码解码与连续检查站的结果,大大改进记忆和时间的使用,同时保持与现有管道相似的准确性。OpTorrch python软件包可在以下网址查阅:https://github.com/cbrl-nuess/optorch。

0
下载
关闭预览

相关内容

最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
《动手学深度学习》(Dive into Deep Learning)PyTorch实现
专知会员服务
118+阅读 · 2019年12月31日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
已删除
将门创投
5+阅读 · 2019年5月5日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年6月18日
Arxiv
0+阅读 · 2021年6月17日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
12+阅读 · 2020年8月3日
Arxiv
24+阅读 · 2020年3月11日
Arxiv
12+阅读 · 2019年3月14日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
Arxiv
12+阅读 · 2018年9月5日
VIP会员
相关VIP内容
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
《动手学深度学习》(Dive into Deep Learning)PyTorch实现
专知会员服务
118+阅读 · 2019年12月31日
相关资讯
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
已删除
将门创投
5+阅读 · 2019年5月5日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Arxiv
0+阅读 · 2021年6月18日
Arxiv
0+阅读 · 2021年6月17日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
12+阅读 · 2020年8月3日
Arxiv
24+阅读 · 2020年3月11日
Arxiv
12+阅读 · 2019年3月14日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
Arxiv
12+阅读 · 2018年9月5日
Top
微信扫码咨询专知VIP会员