科学大数据处理优化理论与关键技术研究

项目名称： 科学大数据处理优化理论与关键技术研究

项目编号： No.61370104

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 石宣化

作者单位： 华中科技大学

项目金额： 76万元

中文摘要： 在大数据与第四范式的时代背景下，传统的数据密集型计算面临着新的机遇与挑战。科学领域的数据具有非增量式特征，数据的处理具有多迭代、频域计算多等特点，传统高性能计算中以内存共享与消息通信为中心的数据处理方式已不能应对大数据特征的科学数据处理，高性能计算机I/O系统边缘化设计现状使得这一问题尤为突出。本课题围绕高性能计算机上科学大数据处理的I/O瓶颈与可靠性问题，对其展开深入研究。课题围绕三个方面开展：（1）研究高性能计算机架构下的数据密集型编程模型，包括数据并行规则、可靠性保证等；（2）研究数据访问目的驱动的在线I/O性能优化方法，包括数据处理在线Profiling、内存复用机制、增量处理等；（3）研究结构感知的科学大数据处理数据分割与数据调度算法，包括科学大数据的静态分割与数据动态调度。本课题的成功研究将有助于促进高性能计算技术的发展，拓宽高性能计算的应用领域。

中文关键词： 内存计算；高速缓冲；图计算；；

英文摘要： In the context of Big Data era and the four-paradigm, traditional data-intensive computing is facing new opportunities and challenges. Scientific data are with a non-incremental feature, data processing are with multiple iterations and frequency domain ch

英文关键词： in-memory computing；burst buffer；graph computing；；