混合存储和计算模式下的大图处理优化技术研究

项目名称： 混合存储和计算模式下的大图处理优化技术研究

项目编号： No.61472321

项目类型： 面上项目

立项/批准年度： 2015

项目学科： 自动化技术、计算机技术

项目作者： 潘巍

作者单位： 西北工业大学

项目金额： 80万元

中文摘要： 随着数十亿顶点级别大规模图的不断涌现，分布式大图处理优化已经成为一个日益重要的研究问题。图在结构和计算上的高耦合性以及不断增长的规模给优化技术的研究带来了挑战。单一模式下的优化技术难以适应大图计算多样化的需求。本课题拟通过建立混合的存储和计算模式，并基于此利用权衡两级的优化思路，给出系统性的混合式优化技术解决方案。本项目拟从四个方面进行探索1）研究面向混合存储的图数据存储优化技术以减少数据移动和网络通信；2）研究面向混合存储的图数据访问优化技术以降低访问延迟；3）研究融合同\异步优点的新型计算模型，在保持易用性的基础上提高执行效率；4）研究多级调度优化技术以加速迭代收敛。同时，结合理论分析和完整的实验测试来检测新模型和现有模型的差异性，相关研究成果将为易用、可扩展、高性能平衡的大图处理的进一步研究与应用提供新的解决思路和技术支撑，因而具有重要的理论和实践意义。

中文关键词： 大数据；海量数据管理；图数据处理；计算模型；分布式计算

英文摘要： As the graphs with billions of vertices are constantly emerging, optimization of distributed massive graph processing becomes an increasingly important problem on graph data management. Coupling computational structure and growing size pose challenges to optimization techniques. Currently the biggest problem is that existing optimization technologies will struggle to satisfy diversified demand of massive graph processing within a single pattern.In this project,we tries to propose systematic hybrid optimization techniques with tradeoff ideas in hybird pattern.This proposal mainly focuses on four key aspects, including i)hybrid storage architecture based graph data storage technologies in order to reduce network traffic; ii) hybrid storage architecture based low-latency graph data access; iii)hybrid computational model compromises the merits of synchronization and asynchronization; and iv)multi-level scheduling to accelerate convergence. Analysis in theorem and thorough experimental tests will be conducted to evaluate the performance of the proposed methods. Such research work may provide new ideas for optimizaton on massvie graph computational model with a good tradeoff between easy of use,scalablility and high-performance, and therefore have great importance.

英文关键词： big data;massive data management;graph processing;computational model;distributed computing