神经网络随机学习算法的泛化性研究

项目名称： 神经网络随机学习算法的泛化性研究

项目编号： No.11301494

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 数理科学和化学

项目作者： 张永全

作者单位： 中国计量学院

项目金额： 22万元

中文摘要： 算法的泛化能力是评价一个机器学习算法优劣的主要标准之一,也是当今机器学习研究的热点之一。本项目拟综合"信息论"、"逼近论"和"随机优化"等学科中的理论和方法，从随机逼近的角度，围绕神经网络随机学习算法泛化误差的上、下界估计和稀疏逼近等问题开展如下三方面研究:(1)利用函数逼近论中的正、逆定理、神经网络、随机逼近以及有关概率不等式，研究随机学习算法的泛化性与泛化误差的上、下界估计等问题；(2)利用压缩感知等方法研究神经网络的稀疏逼近。(3)神经网络随机学习算法的泛化结果在排序问题中的应用。本项目的研究意义在于采用随机逼近方法解决神经网络随机学习算法中的泛化误差估计和稀疏逼近等问题，不仅提高已有随机学习算法泛化误差的上界，而且给出该误差的下界估计，进而获得神经网络随机学习算法泛化性能的本质逼近阶，为神经网络学习算法的泛化性研究提供了新的研究途径和方法。

中文关键词： 神经网络；随机逼近；学习算法；泛化误差；

英文摘要： The generalization ability of algorithm is one of the main stand quality to evaluate learning algorithm, and is one of the hot topics in machine learning research.This project is combined with "information theory", "approximation theory" and "stochastic approximation" in subjects such as theory and method, from the view of stochastic approximation, around upper and lower bound of generalization error of neural network stochastic approximation, sparse approximation for the three aspects of the study are as follows: (1) upper and lower of neural network stochastic learing algorithm are estimated by using approximation theory 、neural network、stochastic approximation and some probabilities; (2) sparse approximation of neural netqork is studied by using the way of compressed sensing; (3) application of neural network stochastic learning algorithm will be used in ranking problem. This project aims to study generalization error of learning algorithm and sparse approximation. We not only improve the upper bound of generalization error, but also obtain the lower bound. And then we give the essential approximated order of generalization performance and provide research approach and method of neural network learning.

英文关键词： neural network；stochastic approximation；learning algorithm；generalization error；