The wide availability of powerful and inexpensive cloud computing services naturally motivates the study of distributed graph layout algorithms, able to scale to very large graphs. Nowadays, to process Big Data, companies are increasingly relying on PaaS infrastructures rather than buying and maintaining complex and expensive hardware. So far, only a few examples of basic force-directed algorithms that work in a distributed environment have been described. Instead, the design of a distributed multilevel force-directed algorithm is a much more challenging task, not yet addressed. We present the first multilevel force-directed algorithm based on a distributed vertex-centric paradigm, and its implementation on Giraph, a popular platform for distributed graph algorithms. Experiments show the effectiveness and the scalability of the approach. Using an inexpensive cloud computing service of Amazon, we draw graphs with ten million edges in about 60 minutes.


翻译:强大而廉价的云计算服务的广泛可得性自然激励着对分布式图表布局算法的研究,这种算法能够推广到非常大的图表。 如今,为了处理大数据,公司越来越多地依赖PaAS基础设施,而不是购买和维护复杂和昂贵的硬件。到目前为止,只描述了几个在分布式环境中起作用的基本的、以力量为主的、以力量为主的算法的例子。相反,设计分布式多层次的、以力量为主的算法是一项挑战性更大的任务,但尚未得到解决。我们根据分布式的脊椎中心模式提出了第一种多层次的、以力量为主的算法,并在Giraph(分布式图表算法的流行平台)上应用了这一算法。实验显示了这种方法的有效性和可缩放性。我们使用亚马逊的廉价云计算服务,在大约60分钟内绘制了1 000万个边缘的图表。

0
下载
关闭预览

相关内容

云计算服务,即云服务。中国云计算服务网的定义是:指可以拿来作为服务提供使用的云计算产品。包括云主机,云空间,云开发,云测试和综合类产品等。
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
人工智能 | UAI 2019等国际会议信息4条
Call4Papers
6+阅读 · 2019年1月14日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
计算机类 | 11月截稿会议信息9条
Call4Papers
6+阅读 · 2018年10月14日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
4+阅读 · 2019年1月14日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
人工智能 | UAI 2019等国际会议信息4条
Call4Papers
6+阅读 · 2019年1月14日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
计算机类 | 11月截稿会议信息9条
Call4Papers
6+阅读 · 2018年10月14日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员