项目名称: 高能物理数据分析的Hadoop/HBASE平台研究

项目编号: No.11375223

项目类型: 面上项目

立项/批准年度: 2013

项目学科: 数理科学和化学

项目作者: 孙功星

作者单位: 中国科学院高能物理研究所

项目金额: 92万元

中文摘要: 高能物理数据累积越来越多,传统的"数据到计算任务"计算模式受到了很大的挑战,Appache等组织的Hadoop项目,开发了HDFS/Hbase及Mapreduce并行数据处理框架,实现了"计算任务到数据"的全新计算模式,受到业界及科学界的广泛关注和使用,取得了巨大的成功。本申请利用开源软件HDFS、Mapreduce,以及物理事例级的索引数据库Hbase,实现高能物理数据分析的"数据到计算任务"转变,形成新型的高能物理数据处理平台;研究高能物理DST的事例存储方式,重新组织事例的存储结构,克服当前HDFS系统随机访问的问题;利用SOA的技术封装现有的高能物理软件,使其与HDFS/Hbase及MapReduce能无缝对接;研究实现现有的集群计算系统同Hadoop系统的资源管理、集成及共享。项目目标是在Hadoop开源软件基础上建立新型的高能物理分析平台,可以极大提高物理分析效率。

中文关键词: 大数据;高能物理;Hadoop;HBase;索引

英文摘要: As HEP data volume increasing, the traditional way of data processing, 'data to computing task', is facing more and more challenges, a new computing model, 'computing task to data', has been developed by Appache, including HDFS/Hbase components and Mapred

英文关键词: Big Data;High Energy Physics;Hadoop;HBase;Tag

成为VIP会员查看完整内容
1

相关内容

从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。
【Manning新书】高级算法与数据结构,769页pdf
专知会员服务
166+阅读 · 2021年11月12日
【2020新书】使用Kubernetes开发高级平台,519页pdf
专知会员服务
63+阅读 · 2020年9月19日
商业数据分析,39页ppt
专知会员服务
157+阅读 · 2020年6月2日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
94+阅读 · 2019年12月4日
Spark & Hive 云原生改造在智领云的应用
CSDN
0+阅读 · 2022年4月8日
一文搞懂redis
阿里技术
1+阅读 · 2022年3月24日
Hadoop 生态里,为什么 Hive 活下来了?
InfoQ
0+阅读 · 2021年10月6日
面面观之易华录“数据银行”
THU数据派
0+阅读 · 2021年9月10日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Age Optimal Sampling Under Unknown Delay Statistics
Arxiv
0+阅读 · 2022年4月20日
A Sheaf-Theoretic Construction of Shape Space
Arxiv
0+阅读 · 2022年4月19日
小贴士
相关资讯
Spark & Hive 云原生改造在智领云的应用
CSDN
0+阅读 · 2022年4月8日
一文搞懂redis
阿里技术
1+阅读 · 2022年3月24日
Hadoop 生态里,为什么 Hive 活下来了?
InfoQ
0+阅读 · 2021年10月6日
面面观之易华录“数据银行”
THU数据派
0+阅读 · 2021年9月10日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
相关基金
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员