This paper proposes two algorithms for solving stochastic control problems with deep learning, with a focus on the utility maximisation problem. The first algorithm solves Markovian problems via the Hamilton Jacobi Bellman (HJB) equation. We solve this highly nonlinear partial differential equation (PDE) with a second order backward stochastic differential equation (2BSDE) formulation. The convex structure of the problem allows us to describe a dual problem that can either verify the original primal approach or bypass some of the complexity. The second algorithm utilises the full power of the duality method to solve non-Markovian problems, which are often beyond the scope of stochastic control solvers in the existing literature. We solve an adjoint BSDE that satisfies the dual optimality conditions. We apply these algorithms to problems with power, log and non-HARA utilities in the Black-Scholes, the Heston stochastic volatility, and path dependent volatility models. Numerical experiments show highly accurate results with low computational cost, supporting our proposed algorithms.


翻译:本文提出了用深层学习解决随机控制问题的两种算法, 重点是实用最大化问题。 第一个算法通过汉密尔顿· 雅各比· 贝尔曼(HJB) 等式解决Markovian 问题。 我们用第二顺序后向偏向分异方程(2BSDE) 的配方解决这种高度非线性局部方程(PDE) 。 问题的共通结构使我们能够描述一个可以验证原始原始原始原始方法或绕过某些复杂方法的双重问题。 第二个算法利用双重方法的全能解决非马尔科维安问题, 这些问题往往超出现有文献中随机控制解答器的范围。 我们用一种符合双重最佳性条件的联结的 BSDE 。 我们将这些算法应用于与电源、 日志和非 HARA 工具在黑雪花中存在的问题、 Heston 随机性波动和路径依赖的波动模型。 数字实验以低计算成本显示非常准确的结果, 支持我们提议的算法。

0
下载
关闭预览

相关内容

专知会员服务
18+阅读 · 2021年9月6日
【ICLR2021】常识人工智能,77页ppt
专知会员服务
73+阅读 · 2021年5月11日
专知会员服务
52+阅读 · 2020年9月7日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
MATLAB玩转深度学习?新书「MATLAB Deep Learning」162页pdf
专知会员服务
99+阅读 · 2020年1月13日
最前沿:深度解读Soft Actor-Critic 算法
极市平台
53+阅读 · 2019年7月28日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Arxiv
6+阅读 · 2021年6月24日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
8+阅读 · 2021年5月21日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
5+阅读 · 2018年4月22日
VIP会员
相关VIP内容
专知会员服务
18+阅读 · 2021年9月6日
【ICLR2021】常识人工智能,77页ppt
专知会员服务
73+阅读 · 2021年5月11日
专知会员服务
52+阅读 · 2020年9月7日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
MATLAB玩转深度学习?新书「MATLAB Deep Learning」162页pdf
专知会员服务
99+阅读 · 2020年1月13日
相关论文
Arxiv
6+阅读 · 2021年6月24日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
8+阅读 · 2021年5月21日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
5+阅读 · 2018年4月22日
Top
微信扫码咨询专知VIP会员