在面向新型加速硬件的数据管理方面,GPU能够提供大规模线程的并行环境、高吞吐的内存和缓冲访问机制,因此基于GPU的大规模图数据处理算法和系统日益成为研究热点。但是,单个GPU的访存空间容量限制了图数据的规模。
张珩等作者在论文“基于Multi-GPU平台的大规模图数据处理”中提出了一个基于多GPU平台的支持高效、可扩展的大规模图数据处理系统GFlow。GFlow提出了适用于多GPU的图数据切分策略和双展滑动窗口算法,合理布局图的属性数据、图结构数据和迭代计算的中间结果,从SSD存储至GPU设备动态地加载数据分块,从而有效地支持GPU对大规模图的计算。实验表明GFlow在多GPU平台下相比其他外存图处理系统有明显的性能优势。
【引用】
张珩,张立波,武延军. 基于Multi-GPU平台的大规模图数据处理[J]. 计算机研究与发展,2018,55(2):273-288.
Zhang Heng,Zhang Libo, WuYanjun. Large-Scale Graph Processing on Multi-GPU Platforms. Journal of Computer Research and Development, 2018,55(2):273-288
点击文末“阅读全文”可抢鲜阅读。
《计算机研究与发展》“面向新型硬件的数据管理”专题内容涵盖面向新型非易失存储NVM的数据管理和面向新型加速硬件的数据管理两大方面,并反映了国内学术领域和华为、阿里等产业界在面向新型硬件的数据管理方面的主要工作。包括7篇文章:
1 NV-Shuffle:基于非易失内存的Shuffle机制
2 面向大数据处理的基于Spark的异质内存编程框架
3 基于高性能SOC FPGA阵列的NVM验证架构设计与验证
4 基于Multi-GPU平台的大规模图数据处理
5 大数据处理中Hash Joins的加速实例
6 面向数据库的持久化事务内存
7 X-DB:软硬一体的新型数据库系统