基于贝叶斯推理的模糊逻辑强化学习模型研究

项目名称： 基于贝叶斯推理的模糊逻辑强化学习模型研究

项目编号： No.61272005

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 刘全

作者单位： 苏州大学

项目金额： 61万元

中文摘要： 本项目拟针对强化学习领域在大规模状态空间中"维数灾"以及在学习过程中平衡探索与利用的问题，提出基于贝叶斯推理的模糊逻辑强化学习方法。主要思想是将强化学习与模糊逻辑及贝叶斯推理相结合，采用模糊逻辑方法表示状态、动作等方面的知识，结合贝叶斯推理描述模型中状态转移及奖赏值的分布性，建立一个模糊推理系统，优化学习过程中的动作选择策略，平衡动作选择的探索与利用的问题，并在学习过程中自适应修正推理系统，以达到更大程度提高强化学习算法延展性及收敛性的目的。同时，拟将模糊逻辑强化学习算法用于大规模Deep Web网络信息搜索中，解决由于状态空间的高维性及语义信息的不确定性引起的 Deep Web搜索中收敛速度慢甚至无法收敛的问题。因此，基于贝叶斯推理的模糊逻辑强化学习模型的研究，既具有一定的理论价值，又有广阔的应用前景。

中文关键词： 贝叶斯推理；一;二型模糊逻辑；强化学习；Deep Web；tableau

英文摘要： In allusion to the problem of "the curse of dimensionality" and balancing the exploitation and exploration in reinforcement learning, the project put forward the fuzzy logical reinforcement learning based on bayesian inference. The main idea is combining the reinforcement learning, fuzzy logic and bayesian inference, which uses fuzzy logic method to represent the state, action and some other things, constructs a fuzzy inference system based on the distribution of state transition and reward got by bayesian inference, optimizes the action selection policy, balances the exploitation and exploration, and modifies the inference system adaptively to maximize the performance of the algorithm. And at the same time, the project plans to use the proposed method to solve the problem of slow convergence or non-convergence of the algorithm used in deep web, which is caused by the high dimension of state or the uncertainties of semantic information. Therefore, the research of the fuzzy logic reinforcement learning based on bayesian inference both has certain theoretical value and broad application prospects.

英文关键词： Bayesian inference；type-1; type-2 Fuzzy logic；Reinforcement Learning；Deep Web；tableau