面向性能和可靠性的跨组织大数据部署方法研究

项目名称： 面向性能和可靠性的跨组织大数据部署方法研究

项目编号： No.61402533

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 卢清华

作者单位： 中国石油大学（华东）

项目金额： 26万元

中文摘要： 跨组织大数据部署方法对跨组织大数据处理的性能和可靠性有显著影响。现有的部署方法主要是将各组织的海量数据统一移动到计算资源所在的云数据中心进行处理。然而，云数据中心间海量数据移动以及云基础设施随机行为和不可见性造成的不确定性对大数据处理的完成时间、花费和可靠性造成很大影响。因此，本项目拟提出适用于跨组织大数据部署的近数据计算架构风格，将计算任务推送到各组织存储数据的云数据中心并在各组织云数据中心本地部署大数据集群完成计算分析，从而减少跨组织大数据处理的海量数据移动，提高跨组织大数据处理的性能和可靠性。此外，本项目还拟提出基于随机奖励网的部署架构、部署工作流、以及云基础设施API故障容忍机制的分析方法，将云基础设施不确定性纳入分析，细颗粒度量化分析部署架构、部署工作流及云基础设施API容忍机制，以减少云基础设施的不确定性对跨组织大数据处理性能和可靠性的影响。

中文关键词： 大数据；软件体系结构；部署架构；运维；API故障容忍

英文摘要： The deployment approaches of cross-organizational big data processing have significant impact on performance and reliability of cross-organizational big data processing. Most of the past work mainly focuses on moving large amounts of data to cloud data ce

英文关键词： Big Data；Software Architecture；Deployment Architecture；Operation；API Fault Tolerance