终止时间随机且折扣因子不确定的Markov控制过程

项目名称： 终止时间随机且折扣因子不确定的Markov控制过程

项目编号： No.61374067

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 郭先平

作者单位： 中山大学

项目金额： 82万元

中文摘要： 本项目提出并研究终止时间随机且折扣因子不确定的Markov控制过程（英文缩写为MCP），它是当前固定的折扣因子和有限阶段MCP的拓展。本项目的提出源于下列事实：a)决策过程的终止时间可能是随机的（如机器的寿命）；b) 折扣因子可能是不确定的（如银行的利率）；c)已有MCP的研究主要致力于折扣因子与终止时间均为常数情形。针对折扣因子不确定且终止时间随机的连续时间MCP，本项目研究如何根据受控随机动态系统的状态来设计控制策略（如机器的维修方式、金融中的投资策略），使系统在运行终止前的效益（如：系统的可靠性和运行费用等性能指标）达到最优。项目研究内容有：1)首达目标折扣最优控制策略存在的条件及算法；2)首达目标"均值-方差"最优控制策略的存在性与计算；3）概率准则下最优控制策略的存在性与计算； 4)最优控制策略的结构及具体模型的应用。这些研究内容在连续MCP中是新的,并将推进MCP的新进展。

中文关键词： 随机的终止时间；可变折扣因子；优化准则；最优策略；计算方法

英文摘要： This proposal initiates a comprehensive research program into the study of continuous-time Markov controlled processes (MCP)（known as Markov decision processes) with random horizon and uncertain discount factors, and it is the generalization of the standa

英文关键词： Random horizon；varying discount factors；optimization criteria；optimal policies；algorithms