信息论学习中的正则化及相关高维数据分析方法的数学理论

项目名称： 信息论学习中的正则化及相关高维数据分析方法的数学理论

项目编号： No.11471292

项目类型： 面上项目

立项/批准年度： 2015

项目学科： 数理科学和化学

项目作者： 向道红

作者单位： 浙江师范大学

项目金额： 80万元

中文摘要： 信息论学习是最近十几年发展起来的将信息论和机器学习相结合的一个新的研究领域。信息论学习中的最小误差熵准则虽然在很多领域已得到广泛的应用，但目前还缺乏严格的数学分析。本项目围绕最小误差熵的系数正则化算法、最小误差熵准则的可加模型、多变量的空间分位数展开研究。具体来说，对最小误差熵的系数正则化算法进行理论研究和算法分析，并考虑算法的稀疏性；对最小误差熵准则在可加模型下进行统计分析，阐明可加模型在克服维数灾难方面的优势；从学习理论和函数论的角度去理解多变量的空间分位数问题，并给出理论上的分析。本项目的研究将完善信息论学习的数学理论基础，并从中提出数学问题和为设计新的算法提供线索。

中文关键词： 信息论学习；学习理论；最小化误差熵；系数正则化算法；逼近误差

英文摘要： Information theoretic learning is a new field combining information theory and learning theory which has been developed for more than a decade.Though the minimum error entropy (MEE) principle has been widely used in various fields, it is lack of strict mathematical analysis. This project is focused on coefficient-based regularization schemes of MEE, MEE in additive model and spatial quantile with multivariate output data. In particular, we will first study asymptotic performances and sparsity of coefficient-based regularization schemes of MEE. MEE in additive models is another scheme for which we will demonstrate its advantages in terms of overcoming the curse of dimensionality. The last topic of our project is to investigate the spatial quantile from learning theory and approximaiton theory point of view. The study of this project will improve the mathematical theory of information theoretic learning and shed light on new theoretical problems in mathematics, design of new algorithms.

英文关键词： Information Theoretic Learning;Learning Theory;Minimum Error Entropy;Coefficient-based Regularization Schemes;Approximation Error