近年来深度学习在图像、语音、自然语言处理等诸多领域得到广泛应用,但随着人们对深度学习的训练速度和数据处理能力的需求不断提升,传统的基于单机的训练过程愈发难以满足要求,分布式的深度学习训练方法成为持续提升算力的有效途径.其中训练过程中节点间网络的通信性能至关重要,直接影响训练性能.分析了分布式深度学习中的性能瓶颈,在此基础上对目前常用的网络性能优化方案进行综述,详细阐述了目前最新的超大规模分布式训练的体系结构、优化方法、训练环境和最有效的优化方法,最后对分布式训练仍然存在的困难进行了总结,对其未来研究方向进行了展望.

http://crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20190881

成为VIP会员查看完整内容
47

相关内容

分布式計算( Distributed computing )是一種把需要進行大量計算的工程數據分割成小塊,由多台計算機分別計算,在上傳運算結果後,將結果統一合并得出數據結論的科學。目前常見的分布式計算項目通常使用世界各地上千萬志願者計算機的閒置計算能力,通過互聯網進行數據傳輸。如分析計算蛋白質的內部結構和相關藥物的Folding@home項目,該項目結構龐大,需要驚人的計算量,由一台電腦計算是不可能完成的。即使現在有了計算能力超強的超級電腦,但是一些科研機構的經費卻又十分有限。
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
专知会员服务
59+阅读 · 2021年3月9日
专知会员服务
112+阅读 · 2020年12月9日
专知会员服务
45+阅读 · 2020年12月4日
专知会员服务
78+阅读 · 2020年8月4日
深度学习目标检测方法综述
专知会员服务
259+阅读 · 2020年8月1日
深度学习批归一化及其相关算法研究进展
专知会员服务
49+阅读 · 2020年7月17日
专知会员服务
155+阅读 · 2020年4月21日
图像修复研究进展综述
专知
16+阅读 · 2021年3月9日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
硬件加速神经网络综述
计算机研究与发展
24+阅读 · 2019年2月1日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
195+阅读 · 2018年12月26日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
【选介】基于全卷积网络的迭代非盲反卷积
机器学习研究会
7+阅读 · 2017年9月12日
Arxiv
9+阅读 · 2021年3月25日
Arxiv
32+阅读 · 2021年3月8日
3D Deep Learning on Medical Images: A Review
Arxiv
12+阅读 · 2020年4月1日
Arxiv
14+阅读 · 2020年2月6日
Arxiv
43+阅读 · 2019年12月20日
Deep learning for cardiac image segmentation: A review
Arxiv
21+阅读 · 2019年11月9日
Arxiv
12+阅读 · 2018年9月5日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
15+阅读 · 2018年6月23日
Arxiv
5+阅读 · 2015年9月14日
VIP会员
相关VIP内容
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
专知会员服务
59+阅读 · 2021年3月9日
专知会员服务
112+阅读 · 2020年12月9日
专知会员服务
45+阅读 · 2020年12月4日
专知会员服务
78+阅读 · 2020年8月4日
深度学习目标检测方法综述
专知会员服务
259+阅读 · 2020年8月1日
深度学习批归一化及其相关算法研究进展
专知会员服务
49+阅读 · 2020年7月17日
专知会员服务
155+阅读 · 2020年4月21日
相关资讯
图像修复研究进展综述
专知
16+阅读 · 2021年3月9日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
硬件加速神经网络综述
计算机研究与发展
24+阅读 · 2019年2月1日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
195+阅读 · 2018年12月26日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
【选介】基于全卷积网络的迭代非盲反卷积
机器学习研究会
7+阅读 · 2017年9月12日
相关论文
Arxiv
9+阅读 · 2021年3月25日
Arxiv
32+阅读 · 2021年3月8日
3D Deep Learning on Medical Images: A Review
Arxiv
12+阅读 · 2020年4月1日
Arxiv
14+阅读 · 2020年2月6日
Arxiv
43+阅读 · 2019年12月20日
Deep learning for cardiac image segmentation: A review
Arxiv
21+阅读 · 2019年11月9日
Arxiv
12+阅读 · 2018年9月5日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
15+阅读 · 2018年6月23日
Arxiv
5+阅读 · 2015年9月14日
微信扫码咨询专知VIP会员