基于深度学习的异构数据低维非线性表示

项目名称： 基于深度学习的异构数据低维非线性表示

项目编号： No.91230101

项目类型： 重大研究计划

立项/批准年度： 2013

项目学科： 数理科学和化学

项目作者： 张讲社

作者单位： 西安交通大学

项目金额： 70万元

中文摘要： 异构数据的规模和维数随着感知技术和多媒体技术的发展正在快速地增长，其属性的互异性和维数的超高性使得直接利用数据去发现结构和模式困难重重，解决这一问题的有效途径便是数据的低维表示（即维数约减）。传统的维数约减方法不能有效地用于异构数据的维数约化，且其发现的结构也只是一些“浅表”结构。深度学习方法是一种新型的维数约减方法，它以多层网的方式给出了由多层非线性函数经叠加、复合而得到的低维高阶非线性表示。但当这一方法用于异构数据维数约减时，其模型仍不够灵活，数据的本征维数也难以确定，算法的效率仍需进一步提高。本项目在模型上引入低维异构非线性表示，算法上提出基于“最小脉冲响应次数”的稀疏化代价函数，研究基于“最小脉冲响应次数”的数据低维表示及维数确定，研究求解与任务有关的数据维数约减问题，设计高维异构数据的低维异构高度非线性表示的高效深度学习方法。所获结果有望扩展和深化维数约减方法的应用。

中文关键词： 深度学习；维数约减；异构数据；特征提取；稀疏表示

英文摘要： Due to the development of sensing and multimedia technologies, the scale and dimensions of heterogeneous data are growing quickly, which makes it extremely difficult to discovery structures and patterns of heterogeneous data directly. One effective way to solve this problem is to find low dimensional representation of the data (dimensionality reduction). Traditional dimensionality reduction technology cannot effectively deal with the heterogeneous data, and it can only discover some ‘shallow’ structures. Deep learning is a new dimensionality reduction method for getting low dimensional, highly nonlinear representation. However, it is still not flexible enough for heterogeneous data, and cannot be used to determine the intrisic dimension of the data, and needed to further improve computational efficiency. This project aims at constructing a model for low dimensional heterogeneous nonlinear representation by introducing a sparse regularized function based on “ minimum number of impulses”. The project would deal with task-based dimensional reduction problems, and design low dimensional highly nonlinear heterogeneous representation method with low computaional complexity. The obtained results will expand and deepen the applications of dimensionality reduction methods.

英文关键词： Deep learning；Dimension reduction；Heterogeneous data；Feature extraction；Sparse representation