项目名称: 基于NoSQL的海量太阳观测数据分布式存储技术的研究

项目编号: No.11263004

项目类型: 地区科学基金项目

立项/批准年度: 2013

项目学科: 数理科学和化学

项目作者: 季凯帆

作者单位: 昆明理工大学

项目金额: 64万元

中文摘要: 传统的集中式数据存储方式已经无法满足现代太阳观测每秒数百兆字节的高速海量数据存储要求。本项目以澄江红外太阳塔(NVST)为依托,研究基于NoSQL的分布式数据存储技术,实现海量太阳观测数据的高速安全可靠的存储、管理、检索、读取和维护,并满足数据动态快速的增长以及对存储数据的实时处理要求。项目重点开展基于NoSQL的天文数据分布存储架构、分布存储中的数据完整性保证技术、高性能并行读写技术和存储节点便捷加入与移除技术这四个方面的工作。力争突破基于Key-Value与B+树结合的数据存储与检索技术、分片存储的最优化方法和NoSQL中的实时任务分配与任务调度算法等关键技术。本项目创新之处在于引入新的存储体系结构,使用分布式存储和NoSQL技术实现海量太阳观测数据的高速可靠的存储、读取、管理和扩容,以及为保证数据的一致性和安全性而利用Key-Value机制B+树实现观测结果的一次性写入和结果查询。

中文关键词: 天文海量数据;分布式存储;太阳图像;非关系数据库;并行计算

英文摘要: Modern solar observations produce high-volume data with a very high speed such as a few hundred MB per second and several TB per day. However, the traditional centralized data storage technology has been unable to meet this demand in scalability, availability and performance. In this proposal, NoSQL distributed storage mechanisms are designed for handling the New Vacuum Solar Telescope in Chengjiang, Yunnan, China. Its goal is to provide a fast, secure and reliable way to store, manage, retrieve, read and maintain massive amounts of solar observation data. The requirements of the data dynamic growing in volume and real-time processing will be met. There are four fields that will be researched, the architecture of NoSQL distributed storage, the techniques of distributed data integrity, the technology of high-performance parallel data reading/writing, and how to add / remove storage nodes conveniently. Key technologies include data storage and retrieval using the combination of Key-Value and B + tree, the optimization methods of distributed data storage, and the algorithm of real-time task allocation and task scheduling with NoSQL. The innovative points of the proposal are to use the distributed storage and NoSQL mechanisms in storing and reading massive solar observation data, and the use of Key-Value and B

英文关键词: astronomical mass data;distributed storage;solar images;NoSQL database;parallel process

成为VIP会员查看完整内容
0

相关内容

数据中心产业图谱研究报告,41页pdf
专知会员服务
53+阅读 · 2022年1月31日
【博士论文】大数据相似查询关键技术研究
专知会员服务
23+阅读 · 2021年12月2日
专知会员服务
55+阅读 · 2021年6月9日
专知会员服务
18+阅读 · 2021年5月16日
【耶鲁】数据结构与编程技术,656页pdf
专知会员服务
55+阅读 · 2021年4月26日
基于区块链的数据透明化:问题与挑战
专知会员服务
20+阅读 · 2021年3月4日
基于机器学习的数据库技术综述
专知会员服务
53+阅读 · 2021年1月2日
专知会员服务
15+阅读 · 2020年11月8日
【实用书】流数据处理,Streaming Data,219页pdf
专知会员服务
76+阅读 · 2020年4月24日
“热搜”中的分布式数据库 | Q推荐
InfoQ
0+阅读 · 2022年2月15日
一场数据架构变革正在来临 | Q推荐
InfoQ
0+阅读 · 2021年12月20日
面面观之易华录“数据银行”
THU数据派
0+阅读 · 2021年9月10日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
28+阅读 · 2021年10月1日
Arxiv
20+阅读 · 2021年9月21日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
73+阅读 · 2018年12月22日
小贴士
相关主题
相关VIP内容
数据中心产业图谱研究报告,41页pdf
专知会员服务
53+阅读 · 2022年1月31日
【博士论文】大数据相似查询关键技术研究
专知会员服务
23+阅读 · 2021年12月2日
专知会员服务
55+阅读 · 2021年6月9日
专知会员服务
18+阅读 · 2021年5月16日
【耶鲁】数据结构与编程技术,656页pdf
专知会员服务
55+阅读 · 2021年4月26日
基于区块链的数据透明化:问题与挑战
专知会员服务
20+阅读 · 2021年3月4日
基于机器学习的数据库技术综述
专知会员服务
53+阅读 · 2021年1月2日
专知会员服务
15+阅读 · 2020年11月8日
【实用书】流数据处理,Streaming Data,219页pdf
专知会员服务
76+阅读 · 2020年4月24日
相关资讯
“热搜”中的分布式数据库 | Q推荐
InfoQ
0+阅读 · 2022年2月15日
一场数据架构变革正在来临 | Q推荐
InfoQ
0+阅读 · 2021年12月20日
面面观之易华录“数据银行”
THU数据派
0+阅读 · 2021年9月10日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员