项目名称: 海量数据处理中面向任务加速的数据调度策略研究

项目编号: No.61300033

项目类型: 青年科学基金项目

立项/批准年度: 2014

项目学科: 自动化技术、计算机技术

项目作者: 任祖杰

作者单位: 杭州电子科技大学

项目金额: 27万元

中文摘要: 目前,在互联网应用、金融电信、医疗健康等诸多领域,数据量正在急剧膨胀。为挖掘这些庞大数据潜在的科学或商业价值,需要依赖高效的海量数据处理系统。优化任务调度与数据调度成为提升海量数据处理系统性能的两个重要手段。传统数据调度关注于数据存放、迁移,复制及副本管理,用于提高存储资源利用率及数据访问服务质量。这类调度操作并非针对任务执行过程,因而对任务执行中的数据I/O优化存在响应度不足的局限性。本项目针对海量数据处理任务复杂的计算过程,以降低数据I/O开销、加快任务执行效率为目标,研究面向任务加速的数据调度策略,涵盖数据智能预取、数据协同传输、数据均衡分发等调度策略。面向任务加速的数据调度策略克服传统数据调度的局限性,充分降低任务执行中数据I/O开销,实现计算节点、存储节点间的高效数据调度,对海量数据处理性能提升有重大意义。

中文关键词: 海量数据处理;数据调度;数据预取;数据传输;数据分发

英文摘要: With the rapid growth of data volume in many fields such as Internet application, financial telecoms and health care, high-performance massive data processing techniques are required to deal with such big data.Task scheduling and data scheduling optimizations are proved to be effective solutions for upgrading the performance of massive data processing system. Traditional data scheduling focuses on data storage,transfer,copy and replication management, aiming to improve the utilization ratio of storage resource and data access QoS, instead of directly serving the process of task execution. This proposal revisits data scheduling issue from the perspective of task acceleration, and explores the strategies of data prefetch, parallel transfer and distribution for task execution procedure on a massive data processing framework. Data scheduling for task acceleration overcomes the limitation of lack-responsivity to task execution of traditional data scheduling, degrades data I/O cost during the task execution, implements a high-efficiency data scheduling between computation nodes and storage nodes, thereby improving the massive data process system performance.

英文关键词: Massive Data Processsing;Data Scheduling;Data Prefetch;Data Transfer;Data Distribution

成为VIP会员查看完整内容
2

相关内容

报告 |《数字碳中和白皮书》(附下载)
专知会员服务
89+阅读 · 2021年12月31日
面向端边云协同架构的区块链技术综述
专知会员服务
48+阅读 · 2021年12月24日
专知会员服务
33+阅读 · 2021年7月29日
专知会员服务
79+阅读 · 2021年7月28日
专知会员服务
24+阅读 · 2021年7月8日
专知会员服务
55+阅读 · 2021年6月9日
专知会员服务
64+阅读 · 2021年5月3日
专知会员服务
35+阅读 · 2021年2月26日
最新《多任务学习》综述,39页pdf
专知会员服务
263+阅读 · 2020年7月10日
【北京大学】面向5G的命名数据网络物联网研究综述
专知会员服务
36+阅读 · 2020年4月26日
2021年车联网安全研究报告
CCF计算机安全专委会
1+阅读 · 2022年4月7日
如何降低云计算基础设施的复杂度?
InfoQ
0+阅读 · 2022年1月4日
面向大数据处理框架的JVM优化技术综述
专知
0+阅读 · 2021年11月27日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
小贴士
相关VIP内容
报告 |《数字碳中和白皮书》(附下载)
专知会员服务
89+阅读 · 2021年12月31日
面向端边云协同架构的区块链技术综述
专知会员服务
48+阅读 · 2021年12月24日
专知会员服务
33+阅读 · 2021年7月29日
专知会员服务
79+阅读 · 2021年7月28日
专知会员服务
24+阅读 · 2021年7月8日
专知会员服务
55+阅读 · 2021年6月9日
专知会员服务
64+阅读 · 2021年5月3日
专知会员服务
35+阅读 · 2021年2月26日
最新《多任务学习》综述,39页pdf
专知会员服务
263+阅读 · 2020年7月10日
【北京大学】面向5G的命名数据网络物联网研究综述
专知会员服务
36+阅读 · 2020年4月26日
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员