We consider the problem of statistical inference for a class of partially-observed diffusion processes, with discretely-observed data and finite-dimensional parameters. We construct unbiased estimators of the score function, i.e. the gradient of the log-likelihood function with respect to parameters, with no time-discretization bias. These estimators can be straightforwardly employed within stochastic gradient methods to perform maximum likelihood estimation or Bayesian inference. As our proposed methodology only requires access to a time-discretization scheme such as the Euler-Maruyama method, it is applicable to a wide class of diffusion processes and observation models. Our approach is based on a representation of the score as a smoothing expectation using Girsanov theorem, and a novel adaptation of the randomization schemes developed in Mcleish [2011], Rhee and Glynn [2015], Jacob et al. [2020a]. This allows one to remove the time-discretization bias and burn-in bias when computing smoothing expectations using the conditional particle filter of Andrieu et al. [2010]. Central to our approach is the development of new couplings of multiple conditional particle filters. We prove under assumptions that our estimators are unbiased and have finite variance. The methodology is illustrated on several challenging applications from population ecology and neuroscience.


翻译:我们考虑的是一组部分观测到的传播过程的统计推断问题,其中含有不独立观测的数据和有限维度参数。我们构建了对评分函数的不偏袒的估测器,即对参数的日志类函数梯度,没有时间分化偏差。这些估测器可以在随机梯度方法中直接应用,以进行最大可能性估测或贝叶氏推断。由于我们提议的方法只要求使用时间分解计划,如Euler-Maruyama方法,它适用于广泛的推广过程和观察模型。我们采用Girsanov 理论来表示得分数的平滑期待,并且对Mcleish(2011年)、Rhee和Glynn[2015年]、Jacob等人[2020年a]制定的随机化计划进行新的调整。这样,在利用安卓·马山方法的固定粒子过滤器和观察模型来计算预期的平滑度时,只需消除时间分化偏差和燃烧偏差。2010年,我们最具有挑战性和最精确性的方法就是在Angrieu 和Crealimalimals deals destrations deviquestals (2010)下,这是我们几个和Creabreviquestals)的新的和Crevicreals decustrals decustritals deviews的演制。

0
下载
关闭预览

相关内容

专知会员服务
50+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2021年7月1日
Higher Order Targeted Maximum Likelihood Estimation
Arxiv
0+阅读 · 2021年6月30日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Top
微信扫码咨询专知VIP会员