基于大数据和云环境的两类关键问题优化建模与优化方法研究

项目名称： 基于大数据和云环境的两类关键问题优化建模与优化方法研究

项目编号： No.61272119

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 王宇平

作者单位： 西安电子科技大学

项目金额： 70万元

中文摘要： 云计算是处理大数据问题的一个有效环境和未来发展的重要方向。云计算环境下的大数据重要应用问题会随着互联网的快速发展越来越多，急需研究新的建模方法和求解算法。而资源和任务调度问题、特定领域WDB数据源的快速准确发现问题是其中两个关键应用问题。对第一个问题，已有研究主要以任务的完成时间、执行效率、安全性、可靠性、多任务的公平性、数据本地化率、和以平台资源利用率、平台可靠性和能源效用等某个（最多不超过两个）为优化目标设计模型和算法，没有综合考虑这些可能相互矛盾的目标。本项目从总体权衡这些目标，研究统一的建模方法论，建立可满足不同实际需要的新的优化模型及其高效算法。对第二个问题，已有研究只考虑表单覆盖率最大或收获率最大，没有考虑爬过页面总数与特定领域表单页面总数之比（简称爬虫负荷率）最小，而后者与前两者是矛盾的。本项目综合考虑这些目标，建立可满足各目标要求的新的统一优化模型并设计高效的求解算法。

中文关键词： 大数据；云计算；资源和任务调度；深网数据挖掘；优化算法

英文摘要： Cloud computing is an effective environment and important research direction for handling big data problems in the future. There will be more and more key big data application problems based on the cloud computing environment with the fast development of internet technology, and it is very necessary and urgent to develop new models and solution algorithms for these key application problems. The resource and task scheduling problems and the domain-specific deep web database sources quick discovery problem are two of the key application problems for the big data problems in the cloud computing environment. For the resource and task scheduling problems in the cloud computing and big data environment, In the existing studies, one of (at most two of) the task completion time, the efficiency, reliability and security of the task execution, the multi-task fairness, the data localization rate, the platform utiliation and reliability, and energy efficiency is (are) taken as the only objective(s) to set up the optimization models and design algorithms. These objectives are not considered and studied as a whole or in the integrated way. We shall consider these objectives in the integrated way, study the universal modeling methodology, and set up widely applicable optimization models and efficient algorithms. For the domain

英文关键词： Big data；Cloud computing；Resource and task scheduling；Deep Web Data Mining；Optimization algorithms