We propose a framework for training neural networks that are coupled with partial differential equations (PDEs) in a parallel computing environment. Unlike most distributed computing frameworks for deep neural networks, our focus is to parallelize both numerical solvers and deep neural networks in forward and adjoint computations. Our parallel computing model views data communication as a node in the computational graph for numerical simulations. The advantage of our model is that data communication and computing are cleanly separated and thus provide better flexibility, modularity, and testability. We demonstrate using various large-scale problems that we can achieve substantial acceleration by using parallel solvers for PDEs in training deep neural networks that are coupled with PDEs.


翻译:我们提出了一个在平行计算环境中培训神经网络的框架,同时配有部分差异方程式(PDEs ) 。 与大多数分布式的深神经网络计算框架不同,我们的重点是在前方和联合计算中平行地将数字求解器和深神经网络平行。 我们平行的计算模型将数据通信视为数字模拟计算图中的一个节点。 我们模型的优点是数据通信和计算是干净的分离,从而提供了更好的灵活性、模块性和可测试性。 我们用各种大规模的问题来证明,通过使用PDEs的平行求解器来培训与PDEs并存的深度神经网络,我们可以实现大幅加速。

0
下载
关闭预览

相关内容

PARCO:Parallel Computing。 Explanation:并行计算。 Publisher:Elsevier。 SIT:http://dblp.uni-trier.de/db/conf/parco/
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
机器学习线性代数速查
机器学习研究会
19+阅读 · 2018年2月25日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Deep Learning(深度学习)各种资料网址
数据挖掘入门与实战
11+阅读 · 2017年10月31日
【推荐】深度学习思维导图
机器学习研究会
15+阅读 · 2017年8月20日
Arxiv
19+阅读 · 2020年7月13日
Arxiv
45+阅读 · 2019年12月20日
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
机器学习线性代数速查
机器学习研究会
19+阅读 · 2018年2月25日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Deep Learning(深度学习)各种资料网址
数据挖掘入门与实战
11+阅读 · 2017年10月31日
【推荐】深度学习思维导图
机器学习研究会
15+阅读 · 2017年8月20日
Top
微信扫码咨询专知VIP会员