混合云中的数据密集型工作流调度策略研究

项目名称： 混合云中的数据密集型工作流调度策略研究

项目编号： No.61300042

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 刘晓

作者单位： 华东师范大学

项目金额： 27万元

中文摘要： 随着大规模科学计算和面向海量用户的电子商务的发展，基于云计算的工作流系统需要处理大量数据密集型的应用。高效的工作流调度策略是保证工作流系统性能和用户满意度的关键。如何提高云计算环境中的工作流执行效率并降低处理海量数据所需的资源成本成为工作流调度的核心问题。本项目针对混合云的发展趋势及其带来的挑战，创新性的提出了一个扩展的云工作流调度策略，其核心是将数据密集型工作流的调度从传统的仅在工作流执行中扩展到工作流的整个生命周期，即包括工作流执行前的原始数据放置策略（其目标是降低原始数据的传输时间和成本），工作流执行中的中间数据和计算任务调度（其目标是灵活调度中间数据和计算任务来优化工作流执行的时间和成本），以及工作流执行结束后的中间数据删除（其目标是降低海量中间数据的存储成本）。项目研究成果能系统地解决混合云中数据密集型工作流的调度问题，降低工作流执行的时间和成本，从而有效地提高用户的满意度。

中文关键词： 云计算；工作流调度；数据密集型应用；混合云系统；

英文摘要： With the rapid growth of large scale scientific computing and mass-user oriented e-Business, cloud computing based workflow systems need to handle a large number of data-intensive applications. The key to guarantee the system performance and user's satisfaction is an effective workflow scheduling strategy, and its vital issue is how to promote the efficiency of workflow execution and reduce the cost for massive data processing. To cope with the trend of hybrid clouds and its challenges, this project proposes an extended cloud workflow scheduling strategy, i.e. a novel workflow scheduling framework for data-intensive applications in hybrid clouds. The core idea of this framework is to extend the traditional runtime workflow scheduling to the whole workflow lifecycle, specifically including the placement of source data before workflow runtime (with the aim of reducing the time overhead and cost for transferring source data), the scheduling of intermediate data and computing tasks at workflow runtime (with the aim of reducing the workflow running time and cost by smart scheduling of intermediate data and computing tasks), and the intermediate data reduction after workflow execution (with the aim of reducing the storage cost for massive intermediate data). The outcome of this project will systematically address the

英文关键词： Cloud Computing；Workflow Scheduling；Data-Intensive Applications；Hybrid Clouds；