We present a shared-memory algorithm to compute high-quality solutions to the balanced $k$-way hypergraph partitioning problem. This problem asks for a partition of the vertex set into $k$ disjoint blocks of bounded size that minimizes the connectivity metric (i.e., the sum of the number of different blocks connected by each hyperedge). High solution quality is achieved by parallelizing the core technique of the currently best sequential partitioner KaHyPar: the most extreme $n$-level version of the widely used multilevel paradigm, where only a single vertex is contracted on each level. This approach is made fast and scalable through intrusive algorithms and data structures that allow precise control of parallelism through atomic operations and fine-grained locking. We perform extensive experiments on more than 500 real-world hypergraphs with up to $140$ million vertices and two billion pins (sum of hyperedge sizes). We find that our algorithm computes solutions that are on par with a comparable configuration of KaHyPar while being an order of magnitude faster on average. Moreover, we show that recent non-multilevel algorithms specifically designed to partition large instances have considerable quality penalties and no clear advantage in running time.


翻译:为计算平衡的 $k$ way 高压分区问题,我们提出了一个共同的模拟算法, 以计算高品质的解决方案。 这个问题要求将顶端分割成 $k$ 的不连接区块, 从而最大限度地减少连接度( 即每个高端连接的不同区块的总数 ) 。 通过同时使用目前最佳的相继分区器KaHyPar的核心技术, 就可以实现高解决方案质量 : 最极端的多级模式版本, 即每个级别只签订一个单一的顶层。 这种方法通过入侵性算法和数据结构来快速和可缩放。 通过原子操作和精细的锁定, 能够精确控制平行状态。 我们在500多个真实世界超强的超强仪上进行了广泛的实验, 高达1.4 亿美元 的顶端和 20亿 毫升( 和 高顶尺寸 ) 。 我们发现, 我们的算法可以比较与可比的 KaHyPar 配置相匹配的解决方案, 而在平均级别上速度的顺序上是快速的。 此外, 我们展示了相当高的质量优势。

0
下载
关闭预览

相关内容

专知会员服务
21+阅读 · 2021年5月14日
【AAAI2021】记忆门控循环网络
专知会员服务
47+阅读 · 2020年12月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
将门创投
5+阅读 · 2017年8月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年6月7日
Identity-aware Graph Neural Networks
Arxiv
14+阅读 · 2021年1月25日
Arxiv
13+阅读 · 2019年11月14日
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
将门创投
5+阅读 · 2017年8月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员