高能物理数据分析的Hadoop/HBASE平台研究

项目名称： 高能物理数据分析的Hadoop/HBASE平台研究

项目编号： No.11375223

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 数理科学和化学

项目作者： 孙功星

作者单位： 中国科学院高能物理研究所

项目金额： 92万元

中文摘要： 高能物理数据累积越来越多，传统的"数据到计算任务"计算模式受到了很大的挑战，Appache等组织的Hadoop项目，开发了HDFS/Hbase及Mapreduce并行数据处理框架，实现了"计算任务到数据"的全新计算模式,受到业界及科学界的广泛关注和使用，取得了巨大的成功。本申请利用开源软件HDFS、Mapreduce，以及物理事例级的索引数据库Hbase，实现高能物理数据分析的"数据到计算任务"转变，形成新型的高能物理数据处理平台；研究高能物理DST的事例存储方式，重新组织事例的存储结构，克服当前HDFS系统随机访问的问题；利用SOA的技术封装现有的高能物理软件，使其与HDFS/Hbase及MapReduce能无缝对接；研究实现现有的集群计算系统同Hadoop系统的资源管理、集成及共享。项目目标是在Hadoop开源软件基础上建立新型的高能物理分析平台，可以极大提高物理分析效率。

中文关键词： 大数据；高能物理；Hadoop；HBase；索引

英文摘要： As HEP data volume increasing, the traditional way of data processing, 'data to computing task', is facing more and more challenges, a new computing model, 'computing task to data', has been developed by Appache, including HDFS/Hbase components and Mapred

英文关键词： Big Data；High Energy Physics；Hadoop；HBase；Tag