This paper studies the theoretical underpinnings of machine learning of ergodic It\^o diffusions. The objective is to understand the convergence properties of the invariant statistics when the underlying system of stochastic differential equations (SDEs) is empirically estimated with a supervised regression framework. Using the perturbation theory of ergodic Markov chains and the linear response theory, we deduce a linear dependence of the errors of one-point and two-point invariant statistics on the error in the learning of the drift and diffusion coefficients. More importantly, our study shows that the usual $L^2$-norm characterization of the learning generalization error is insufficient for achieving this linear dependence result. We find that sufficient conditions for such a linear dependence result are through learning algorithms that produce a uniformly Lipschitz and consistent estimator in the hypothesis space that retains certain characteristics of the drift coefficients, such as the usual linear growth condition that guarantees the existence of solutions of the underlying SDEs. We examine these conditions on two well-understood learning algorithms: the kernel-based spectral regression method and the shallow random neural networks with the ReLU activation function.


翻译:本文研究了机器学习 ERgodic Itção 扩散的理论基础。 目的是在通过受监督的回归框架对随机偏差方程( SDEs) 基础系统进行实验性估计时, 了解异差统计的共性特性。 我们使用ERgodic Markov 链条的扰动理论和线性反应理论, 推断一点和两点差异性统计的误差对学习漂移和扩散系数的误差具有线性依赖性。 更重要的是, 我们的研究显示, 通常的 $L%2$的学习通识错误的中枢特性不足以实现线性依赖性结果。 我们发现, 这种线性依赖性依赖性结果的充足条件是通过学习算法产生统一的Lipschitz 和一致的测算法, 假设空间中保留了某些漂移系数的特性, 例如通常的线性增长条件, 保证存在潜在的SDEs 的解决方案。 我们用两种非常深的学习算法来研究这些条件: 以内核光谱回归回归法和以浅色线性神经网络进行激活功能。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
28+阅读 · 2020年11月4日
【ST2020硬核课】深度学习即统计学习,50页ppt
专知会员服务
65+阅读 · 2020年8月17日
吴恩达新书《Machine Learning Yearning》完整中文版
专知会员服务
145+阅读 · 2019年10月27日
已删除
将门创投
14+阅读 · 2019年5月29日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Machine Learning:十大机器学习算法
开源中国
20+阅读 · 2018年3月1日
【推荐】免费书(草稿):数据科学的数学基础
机器学习研究会
20+阅读 · 2017年10月1日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
10+阅读 · 2015年7月1日
Arxiv
0+阅读 · 2021年7月12日
Arxiv
18+阅读 · 2021年3月16日
Arxiv
14+阅读 · 2020年12月17日
Arxiv
6+阅读 · 2019年12月30日
VIP会员
相关资讯
已删除
将门创投
14+阅读 · 2019年5月29日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Machine Learning:十大机器学习算法
开源中国
20+阅读 · 2018年3月1日
【推荐】免费书(草稿):数据科学的数学基础
机器学习研究会
20+阅读 · 2017年10月1日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
10+阅读 · 2015年7月1日
Top
微信扫码咨询专知VIP会员