项目名称: 支持多种计算与数据共享的编程框架研究

项目编号: No.61303060

项目类型: 青年科学基金项目

立项/批准年度: 2014

项目学科: 自动化技术、计算机技术

项目作者: 王鹏

作者单位: 中国科学院信息工程研究所

项目金额: 23万元

中文摘要: 随着大数据处理编程框架的不断丰富,在一个平台内支持多种类型的计算成为发展趋势,构建这样的大数据处理平台面临一系列的挑战。目前的框架管理器仅解决了多种框架共享集群资源的问题,但编程框架缺乏相应的机制,支持在一个应用程序内灵活地使用多种计算,以及在计算之间高效地共享中间数据。为解决上述问题,本项目研究一种串行机制及其程序结构,能在一个框架内支持常见的DAG和BSP计算;探讨一种基于内存数据集的共享机制,允许多种计算之间通过接口访问中间结果;提出一种系统架构与实现方法,能够同时支持这两种机制,并通过扩展已有的Transformer系统,对相关技术进行验证。本项目对研究新型编程框架有重要的学术价值;对数据中心大数据处理平台的研发有重要的指导意义。

中文关键词: 大数据;编程框架;混合编程;;

英文摘要: With the emergence of various domain-specific frameworks, it has become a trend for a powerful data processing platform to support multiple frameworks. To build such a unified platform, it is faced with a series of challenge. The framework manager can host a diverse of frameworks for resource sharing in a cluster. However, the framework lacks the built-in support for combining various computations and online data sharing. The project aims to solve these problems. We investigate a sequential mechanism and program structue for combining two widely-used computations (i.e.,DAG and BSP) in the same application program. We explore a distributed in-memory data sharing approach, allowing for access and mutate shared intermediate state via a common inferface. We present the system design and implementation for supporting the two mechansisms, and evaluate the solutions by extending our Transformer system. The study on this subject not only has great academic value on new programming frameworks, but also has directive significance for the software infrastructure development in data center.

英文关键词: Big data;Programming framework;Hybrid programming;;

成为VIP会员查看完整内容
0

相关内容

从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。
【博士论文】分形计算系统
专知会员服务
32+阅读 · 2021年12月9日
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
专知会员服务
53+阅读 · 2021年7月21日
【干货书】Python科学编程,451页pdf
专知会员服务
126+阅读 · 2021年6月27日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
58+阅读 · 2020年7月13日
多智能体深度强化学习的若干关键科学问题
专知会员服务
176+阅读 · 2020年5月24日
“C不再是一种编程语言”
AI前线
1+阅读 · 2022年4月2日
2022 年十大 JavaScript 框架
AI前线
0+阅读 · 2022年1月28日
如何降低云计算基础设施的复杂度?
InfoQ
0+阅读 · 2022年1月4日
ReChorus: 一个高效可扩展的轻量级推荐算法框架
机器学习与推荐算法
0+阅读 · 2021年12月28日
面向大数据处理框架的JVM优化技术综述
专知
0+阅读 · 2021年11月27日
出行即服务(MAAS)框架
智能交通技术
53+阅读 · 2019年5月22日
爱奇艺基于AI的移动端自动化测试框架的设计
前端之巅
18+阅读 · 2019年2月27日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
机器学习必知的15大框架
云栖社区
16+阅读 · 2017年12月10日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
21+阅读 · 2019年3月25日
小贴士
相关VIP内容
【博士论文】分形计算系统
专知会员服务
32+阅读 · 2021年12月9日
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
专知会员服务
53+阅读 · 2021年7月21日
【干货书】Python科学编程,451页pdf
专知会员服务
126+阅读 · 2021年6月27日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
58+阅读 · 2020年7月13日
多智能体深度强化学习的若干关键科学问题
专知会员服务
176+阅读 · 2020年5月24日
相关资讯
“C不再是一种编程语言”
AI前线
1+阅读 · 2022年4月2日
2022 年十大 JavaScript 框架
AI前线
0+阅读 · 2022年1月28日
如何降低云计算基础设施的复杂度?
InfoQ
0+阅读 · 2022年1月4日
ReChorus: 一个高效可扩展的轻量级推荐算法框架
机器学习与推荐算法
0+阅读 · 2021年12月28日
面向大数据处理框架的JVM优化技术综述
专知
0+阅读 · 2021年11月27日
出行即服务(MAAS)框架
智能交通技术
53+阅读 · 2019年5月22日
爱奇艺基于AI的移动端自动化测试框架的设计
前端之巅
18+阅读 · 2019年2月27日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
机器学习必知的15大框架
云栖社区
16+阅读 · 2017年12月10日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员