基于复杂图知识表示的终身强化学习研究

项目名称： 基于复杂图知识表示的终身强化学习研究

项目编号： No.61503178

项目类型： 青年科学基金项目

立项/批准年度： 2016

项目学科： 其他

项目作者： 王皓

作者单位： 南京大学

项目金额： 22万元

中文摘要： 本项目拟研究大数据背景下的新型强化学习技术——终身强化学习，其基本目标是在过去大量、异构的学习经验基础上实现选择性的知识迁移，以改进当前的学习。本项目从数据管理的角度探讨终身强化学习：使用数据库存储所有的历史强化学习数据，将选择性迁移问题转化为数据上的相似度搜索问题，并通过设计数据上的索引结构而加以高效解决。具体而言，本项目拟研究如下内容：（1）强化学习任务的复杂图知识表示；（2）基于复杂图知识表示的强化学习任务相似度定义；（3）历史数据库上的索引结构设计以及强化学习任务的相似度搜索；以及（4）选择性迁移学习算法及终身强化学习系统设计。.基于研究成果，本项目拟在重要的国际学术期刊及会议上发表高水平论文6-8篇，申报专利2项，联合培养博士研究生1人。

中文关键词： 终身强化学习；复杂图；子图匹配；相似度搜索；选择性知识迁移

英文摘要： This project proposes to study lifelong reinforcement learning (LRL), a novel extension of reinforcement learning (RL) in the era of big data, of which the ultimate goal is to implement selective transfer of knowledge from large-amount, heterogeneous past learning experiences to improve current learning. In this project we consider LRL from a perspective of data management. We use a database to maintain all RL data and transform selective transfer problems into similarity search problems over the database, which could be efficiently solved via elaborate index structures. Specifically, this project proposes to study (1) complex graphical knowledge representations of reinforcement learning tasks, (2) similarity measures between RL tasks represented as complex graphs, (3) design of index structures over the learning database and efficient similarity search algorithms, and (4) design of selective transfer algorithms and LRL systems...Based on the outcomes of this project, we plan to (1) publish 6-8 high-quality papers on important international journals and conferences, (2) apply for 2 patents, and (3) jointly train 1 doctoral student.

英文关键词： lifelong reinforcement learning;complex graph;subgraph matching;similarity search;selective knowledge transfer