Splitting is a method to handle application problems by splitting physics, scales, domain, and so on. Many splitting algorithms have been designed for efficient temporal discretization. In this paper, our goal is to use temporal splitting concepts in designing machine learning algorithms and, at the same time, help splitting algorithms by incorporating data and speeding them up. Since the spitting solution usually has an explicit and implicit part, we will call our method hybrid explicit-implict (HEI) learning. We will consider a recently introduced multiscale splitting algorithms. To approximate the dynamics, only a few degrees of freedom are solved implicitly, while others explicitly. In this paper, we use this splitting concept in machine learning and propose several strategies. First, the implicit part of the solution can be learned as it is more difficult to solve, while the explicit part can be computed. This provides a speed-up and data incorporation for splitting approaches. Secondly, one can design a hybrid neural network architecture because handling explicit parts requires much fewer communications among neurons and can be done efficiently. Thirdly, one can solve the coarse grid component via PDEs or other approximation methods and construct simpler neural networks for the explicit part of the solutions. We discuss these options and implement one of them by interpreting it as a machine translation task. This interpretation successfully enables us using the Transformer since it can perform model reduction for multiple time series and learn the connection. We also find that the splitting scheme is a great platform to predict the coarse solution with insufficient information of the target model: the target problem is partially given and we need to solve it through a known problem. We conduct four numerical examples and the results show that our method is stable and accurate.


翻译:分割是一种通过分解物理、 比例、 域等来处理应用问题的方法。 许多分解算法已经设计为高效的时间分解。 在本文中, 我们的目标是在设计机器学习算法时使用时间分解的概念, 同时帮助分解算法, 整合数据并加速数据。 由于分流解决方案通常具有一个明确和隐含的部分, 我们将称之为我们的方法混合直线- 隐含( HEI) 学习。 我们将考虑最近引入的多尺度分解算法。 为了接近动态, 只有几度的自由被暗地解决, 而另一些则明确。 在本文中, 我们使用这种分解概念的概念在机器学习中使用分解概念的概念, 并且提出若干战略。 首先, 解决方案的隐含部分可以随着数据解析的更难, 而帮助分解法的分解法的分解法的分解, 也就是我们用一个分解法的分解法 来进行一个分解, 通过一个分解法的分解法的分解法的分解法的分解, 并且通过一个分解法的分解法的分解法的分解, 来进行一个分解。 我们用一个分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解, 的分解法的分解, 的分解法的分解, 的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法是用来 的分解, 的分解法的分解, 的分解法的分解, 的分解, 的分解法的分解法的分解法的分解, 的分解法的分解法的分解法的分解的分解法的分解法的分解, 的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解法的分解

0
下载
关闭预览

相关内容

【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
专知会员服务
28+阅读 · 2020年10月11日
【陈天奇】TVM:端到端自动深度学习编译器,244页ppt
专知会员服务
86+阅读 · 2020年5月11日
【SIGIR2020】学习词项区分性,Learning Term Discrimination
专知会员服务
15+阅读 · 2020年4月28日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
已删除
架构文摘
3+阅读 · 2019年4月17日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年10月25日
Arxiv
0+阅读 · 2021年10月23日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
VIP会员
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
已删除
架构文摘
3+阅读 · 2019年4月17日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员