大数据环境下基于动态数据模型的时效数据分析关键技术研究

项目名称： 大数据环境下基于动态数据模型的时效数据分析关键技术研究

项目编号： No.61402090

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 张莉

作者单位： 东北大学

项目金额： 25万元

中文摘要： 随着网络上的信息急剧增加，数据的时效性变短，而数据的时效性很大程度上制约着数据分析的客观效果并对辅助决策具有重要意义，如何在海量充斥着失效的、低价值密度的信息中获得及时有效的信息成为各个行业领域用户关注的问题。本课题提出并研究大数据环境下基于动态数据模型的时效数据分析关键技术，通过考虑实时流数据以提高数据分析的时效性。拟针对流数据动态变化的特性，研究影响数据模型的动态特征提取及动态特征值的变化规律，通过分析不同时刻数据动态特征的改变规律，确定数据分析的窗口模型。针对数据动态特征对数据模型的影响，研究融合流数据和历史数据的动态数据模型，该模型应能刻画数据的时变、多元和高维的特征，并随动态特征变化进行调整；研究具有代表性的分布式算法和迭代算法在动态数据模型上的适用性问题，其中前者以统计算法为例，后者以数据挖掘方法为例；最后基于Spark框架实现支持大数据下时效数据分析的原型系统。

中文关键词： 数据流；大数据；动态数据模型；时效分析；滑动窗口

英文摘要： With the dramatic increase of information on the network ,a large number of low value density of spam flooding. How to get the useful information in timely and effective becomes a problem of users’ concern. This project proposes and researches on the key

英文关键词： stream data；big data；dynamic data model；timely analysis；sliding window