项目名称: 基于全数据的云存储系统实时性能建模理论及方法研究

项目编号: No.61472323

项目类型: 面上项目

立项/批准年度: 2015

项目学科: 自动化技术、计算机技术

项目作者: 张晓

作者单位: 西北工业大学

项目金额: 80万元

中文摘要: 云存储是IaaS的重要组成部分,是大量云计算应用的基础。这些应用需要低成本、高性能且稳定的数据存储服务。由于云存储系统是一个多用户、分布式的大规模动态系统,现有的评测及建模方法不适用于云存储系统的性能分析。传统建模方式仅能反映系统的统计规律,无法获得真实系统的特性。随着大数据相关研究的发展,云存储系统中数据的采集、存储和处理都有了突破。对复杂系统进行全面数据采集并建模已成为一种新的建模途径。本项目拟提出一种基于全数据的性能预测模型,该模型对云存储系统进行持续数据采集,结合云存储服务性能指标,分析并预测云存储系统级的性能和瓶颈。研究内容包括:1.利用集成的全数据建立自适应的反馈性能分析及预测模型。2.数据缺失和采集延迟情况下,劣质数据的检测与修复方法,以及延时数据的利用方法。

中文关键词: 系统建模;性能预测;性能优化

英文摘要: Cloud storage systems provide sharable public data storage service to public. This leads new application model and it becomes a new trend in internet technology development. Because there are so many of internet applications and private data stored in the public data storage platform, the performance of data access almost decides whether related services work well. Performance measurement and analysis is the basis of system maintenance and performance optimization. The existing methods take several characteristics into model based on some hypothesis. This modeling approach requires an understanding of the mechanism of the storage system. This model can only get statistical results and it cannot reflect the true characteristic of a real system. With the development of big data, people can collect, storage and process big data. It's a new approach to modeling a complex system with massive data collected. The goal of our project is to make full use of all the data collected in cloud storage systems .This project aims to build a dynamic self-adaptive performance model to estimate runtime performance data using machine learning. The research including: 1. self-adaptive performance modeling using all data gather from trace/log and sensors. 2.how to use uncertain data in massive data and how to handle data transmission delay.

英文关键词: System modelling;Performance Predict;Performance optimization

成为VIP会员查看完整内容
1

相关内容

【博士论文】大数据相似查询关键技术研究
专知会员服务
23+阅读 · 2021年12月2日
专知会员服务
87+阅读 · 2021年9月4日
专知会员服务
36+阅读 · 2021年5月10日
应用知识图谱的推荐方法与系统
专知会员服务
115+阅读 · 2020年11月23日
专知会员服务
20+阅读 · 2020年10月4日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
58+阅读 · 2020年7月13日
【UCLA】基于深度神经网络的工业大模型预测控制,36页ppt
如何提升 HBase 大规模集群下的低延时性能
AI前线
0+阅读 · 2022年3月28日
作业帮基于Flink的实时计算平台实践
AI前线
0+阅读 · 2022年1月27日
云上应用系统数据存储架构演进
阿里技术
2+阅读 · 2021年9月1日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
19+阅读 · 2018年11月27日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Table Enrichment System for Machine Learning
Arxiv
0+阅读 · 2022年4月18日
Arxiv
45+阅读 · 2019年12月20日
小贴士
相关VIP内容
【博士论文】大数据相似查询关键技术研究
专知会员服务
23+阅读 · 2021年12月2日
专知会员服务
87+阅读 · 2021年9月4日
专知会员服务
36+阅读 · 2021年5月10日
应用知识图谱的推荐方法与系统
专知会员服务
115+阅读 · 2020年11月23日
专知会员服务
20+阅读 · 2020年10月4日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
58+阅读 · 2020年7月13日
【UCLA】基于深度神经网络的工业大模型预测控制,36页ppt
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员