虚拟化平台上的高能物理离线数据处理技术研究

项目名称： 虚拟化平台上的高能物理离线数据处理技术研究

项目编号： No.11305192

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 数理科学和化学

项目作者： 黄秋兰

作者单位： 中国科学院高能物理研究所

项目金额： 29万元

中文摘要： 新一代高能物理实验的发展及新发现，离不开海量数据的处理与分析。高能物理离线软件是数据分析的前提和基础，其性能决定着数据分析的进度和效率。随着高能物理实验数据的快速增长，传统的数据处理系统面临着资源利用率不高、应用迁移复杂、多应用支持困难等问题，急需将数据处理移植到虚拟化平台上。然而，目前高能物理数据处理在软件设计、资源分配和任务调度等方面都是基于传统的物理机器。针对这些问题，本项目基于虚拟化平台，通过对离线物理软件进行优化，降低软件在虚拟化平台上的性能损耗，同时对资源管理与调度进行研究，提出资源动态管理和自适应的作业调度策略，从而提高数据分析的效率和整体计算资源的利用率。通过对物理软件、异构资源管理与作业调度的研究，本项目将大幅度提高数据的计算效率，对加快高能物理数据处理过程和造出物理成果具有十分重要的意义。

中文关键词： 离线数据处理；虚拟化技术；作业调度；动态资源管理；虚拟计算集群

英文摘要： The development and new discoveries of a new generation of high-energy physics cannot be separated from the mass data processing and analysis.High-energy physics offline software is the prerequisite and basis of the data analysis ,and its performance determines the progress and efficiency of data analysis.With the rapid growth of the high-energy physics experiments data,the traditional data processing system encounters many problems such as low resource utilization,application migration complex,difficulty in multi-application support and so on, which makes it urgent to transplant the data processing system to virtualization platform.However,the software design,resource allocation and job scheduling of high-energy physics are all based on physical machine.To solve these problems, the project will do a deep research on data processing technologies on virtulization platform including optimizing offline software to reduce the loss of performance on virtualization environment and proposing dynamic resource management and adaptive job scheduling strategy to improve job scheduling,resource utilization and running efficiency. The research on physical software, heterogeneous resource management and job scheduling will greatly increae the computational efficiency of data，which plays a very important role in speeding up t

英文关键词： offline data processing；virtual technology；job scheduling；dynamic resource management；virtual computing cluster