一个精简通信和计算平衡的快速图计算框架

2018 年 10 月 11 日 FCS

点击上方蓝字

关注我们

导读


       大规模同步并行(BSP)模型对编码和调试并行图算法是用户友好的。然而,现有基于BSP的分布式图处理框架,例如Pregel,、GPS、Giraph,总是受高通信开销的困扰。高通信开销主要源于细粒度的消息传递通信模型。为了解决高通信开销问题,我们提出一种低通信开销的计算模型,即LCC-BSP,并利用该计算模型现实一个高性能的分布式图处理框架LCC-Graph。该图处理框架显著地降低通信开销。它还通过优化图分割方法平衡了计算结点间的计算负载,显著地缩短了每个超步的计算时间。我们在一个由32个计算结点组成的集群上用用现实世界的图对LCC-Graph进行测试。实验结果表明:该图处理框架的速度明显快于现有的分布式图处理框架,尤其是当系统运行在高带宽网络之上时,性能提升更明显,例如,LCC-Graph比GPS和GraphLab快一个数量级。

文章精要

        请长按下方二维码识别,阅读该文。

相关内容推荐:

面向用户个性化需求的反馈式虚拟机容错部署  2018 12(4):682-693

FCS 11(4) 文章 | 用于最大化数据中心绿色能源使用的在线式电力成本预算分配算法




Frontiers of Computer Science



Frontiers of Computer Science (FCS)是由教育部主管、高等教育出版社出版、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊,双月刊,全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库(CSCD)核心库等收录,为 CCF 推荐期刊;两次入选“中国科技期刊国际影响力提升计划”;入选“第4届中国国际化精品科技期刊”。




长按二维码关注Frontiers of Computer Science公众号

登录查看更多
2

相关内容

FPGA加速系统开发工具设计:综述与实践
专知会员服务
63+阅读 · 2020年6月24日
【硬核书】不完全信息决策理论,467页pdf
专知会员服务
336+阅读 · 2020年6月24日
【硬核书】可扩展机器学习:并行分布式方法
专知会员服务
81+阅读 · 2020年5月23日
清华大学唐杰老师:用于理解、推理和决策的认知图计算
专知会员服务
119+阅读 · 2019年11月30日
分布式智能计算系统前沿
中国计算机学会
18+阅读 · 2019年10月8日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
基于统计关系学习的自动数据清洗
FCS
7+阅读 · 2019年3月1日
基于差分隐私的地理社交网络发布
FCS
9+阅读 · 2019年2月22日
卷积自适应降噪自动编码器
FCS
8+阅读 · 2019年1月3日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
基于二进制哈希编码快速学习的快速图像检索
极市平台
12+阅读 · 2018年5月17日
FCS 12(1) 文章 | 知识图谱综述
FCS
7+阅读 · 2018年3月12日
Arxiv
24+阅读 · 2020年3月11日
Arxiv
135+阅读 · 2018年10月8日
Arxiv
9+阅读 · 2018年1月4日
Arxiv
4+阅读 · 2017年4月12日
VIP会员
相关资讯
分布式智能计算系统前沿
中国计算机学会
18+阅读 · 2019年10月8日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
基于统计关系学习的自动数据清洗
FCS
7+阅读 · 2019年3月1日
基于差分隐私的地理社交网络发布
FCS
9+阅读 · 2019年2月22日
卷积自适应降噪自动编码器
FCS
8+阅读 · 2019年1月3日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
基于二进制哈希编码快速学习的快速图像检索
极市平台
12+阅读 · 2018年5月17日
FCS 12(1) 文章 | 知识图谱综述
FCS
7+阅读 · 2018年3月12日
Top
微信扫码咨询专知VIP会员