分布式深度学习训练网络综述

近年来深度学习在图像、语音、自然语言处理等诸多领域得到广泛应用，但随着人们对深度学习的训练速度和数据处理能力的需求不断提升，传统的基于单机的训练过程愈发难以满足要求，分布式的深度学习训练方法成为持续提升算力的有效途径．其中训练过程中节点间网络的通信性能至关重要，直接影响训练性能.分析了分布式深度学习中的性能瓶颈，在此基础上对目前常用的网络性能优化方案进行综述，详细阐述了目前最新的超大规模分布式训练的体系结构、优化方法、训练环境和最有效的优化方法，最后对分布式训练仍然存在的困难进行了总结，对其未来研究方向进行了展望.

http://crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20190881

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“分布式深度学习” 可以获取《分布式深度学习训练网络综述》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源