面向"知识"与"数据"共同驱动的机器学习模型参数可辨识性研究

项目名称： 面向"知识"与"数据"共同驱动的机器学习模型参数可辨识性研究

项目编号： No.61273196

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 胡包钢

作者单位： 中国科学院自动化研究所

项目金额： 82万元

中文摘要： 本课题拟采用的机器学习模型将包括"机理关系(或知识驱动)"子模型与"非线性逼近器(或数据驱动)"子模型两部分。该类模型的目标是将"演绎"与"归纳"两种不同推理体系(或子模型)结合起来，随之而来的是多子模型耦合后的参数可辨识性问题。参数可辨识性是关于模型参数能否被惟一确定的性质，也是模型参数能否获得正确估计的前提条件，是提高模型透明度和可解释性的重要内容之一。本课题重点研究该类机器学习模型的参数可辨识性的理论方法基础。其中拟解决的关键问题包括：推导任意非线性多输入多输出系统的参数可辨识性定理，发展不可辨识参数的自动判别，降低不可辨识物理参数个数的非线性逼近器选择方法与重新参数化方法，探讨参数学习模型中理论可辨识性和数值可辨识性的差异原理与条件等内容。我们将以非线性回归与植物生长建模问题为研究背景，同时发展解决相关问题的开放源码软件。

中文关键词： 机器学习；参数可辨识性；非线性；冗余；模型

英文摘要： This program will study parameter identifiability of the machine learning model which integrates the "Knowledge-driven" submodel and the "Data-driven" submodel, namely the KD model. The model aims at merging two types of reasoning inference: "Deduction" and "Induction" in learning machines. Parameter identifiability, which refers to the uniqueness of the parameters determined from input and output data, is of fundamental importance to the KD model. Specific efforts will be made on the parameters in the "Knowledge-driven" sub-model, because their identifiability is a prerequisite of good estimations and interpretability to the model. We will focus on theoretical derivations of identifiability theorems for nonlinear multi-input and multi-output systems. For reducing the number of unidentifiable parameters, the strategies of re-design of nonlinear approximators and re-parameterization methods will be investigated. The discrepancy between the theoretical and numerical parameter identifiability will be another theme in the study. For verifying the theoretical fundamentals, we will conduct case studies on both regression problems and plant growth modeling. The related toolbox will be developed in a format of open-source software.

英文关键词： Machine learning；parameter identifiability；nonlinear；reduandency；model