云计算环境下大数据本地化技术研究

项目名称： 云计算环境下大数据本地化技术研究

项目编号： No.61370080

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 王晓阳

作者单位： 复旦大学

项目金额： 75万元

中文摘要： 大数据的时代已经到来，云计算研究得到国内外的研究者广泛关注，目前在云计算环境下大数据研究的主要成果是在管理架构和处理算法、大数据处理的关键技术等领域。关于数据在各个节点的分布对并行算法的执行效率问题则研究得比较少。目前主要注重点在计算的平衡，而数据本身分布方面的工作较为简单，通常是将数据通过HASH函数均匀地分到各个节点。但是不恰当的数据分布对算法执行的效率有着重要的影响。有鉴于此，本项目提出了数据本地化问题。所谓的数据本地化，是要算法与数据的分布密切结合: 对于存储在文件系统的数据，使得算法执行的时候尽量去读取本地的数据，减少数据在计算节点间的迁移, 从而降低节点间的通信代价，提高算法的执行效率。本项目系统地研究在云计算框架下数据的本地化技术，以图数据和矩阵作为主要的大数据研究对象，通过数据分布功能引擎，以较小的代价实现数据优化分布。

中文关键词： 数据库；数据本地化；大数据；云计算；

英文摘要： Cloud computing research has gained worldwide attention in this big data era, and a lot of progress has been made. The main research themes have been in the data management architecture and key processing algorithms and technologies in the cloud computing

英文关键词： Database；Data Localization；Big Data；Cloud Computing；