扩散模型在合成高质量图像方面取得了巨大成功。然而,由于巨大的计算成本,使用扩散模型生成高分辨率图像仍然是一个挑战,这导致交互式应用程序的延迟过高。在本文中,我们提出了DistriFusion来解决这个问题,通过利用多GPU之间的并行性。我们的方法将模型输入分割成多个补丁,并将每个补丁分配给一个GPU。然而,简单地实现这样的算法会破坏补丁之间的交互并且失去保真度,而纳入这样的交互将会带来巨大的通信开销。为了克服这个困境,我们观察到相邻扩散步骤输入之间的高相似性,并提出了位移补丁并行性,这利用了扩散过程的顺序性质,通过复用前一个时间步骤的预计算特征图为当前步骤提供上下文。因此,我们的方法支持异步通信,可以由计算来流水线处理。广泛的实验表明,我们的方法可以应用于最近的Stable Diffusion XL而不降低质量,并且与单个NVIDIA A100相比,实现了高达6.1倍的加速。我们的代码在 https://github.com/mit-han-lab/distrifuser 上公开可用。

成为VIP会员查看完整内容
21

相关内容

【CVPR2024】非自回归序列到序列的视觉-语言模型
【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
39+阅读 · 2022年11月5日
【ICML2022】熵因果推理:图的可辨识性
专知会员服务
27+阅读 · 2022年8月6日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
11+阅读 · 2021年6月20日
【NeurIPS2020】可处理的反事实推理的深度结构因果模型
专知会员服务
47+阅读 · 2020年9月28日
【AAAI2023】用于图对比学习的谱特征增强
专知
18+阅读 · 2022年12月11日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
157+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
398+阅读 · 2023年3月31日
Arxiv
66+阅读 · 2023年3月26日
Arxiv
139+阅读 · 2023年3月24日
Arxiv
20+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【CVPR2024】非自回归序列到序列的视觉-语言模型
【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
39+阅读 · 2022年11月5日
【ICML2022】熵因果推理:图的可辨识性
专知会员服务
27+阅读 · 2022年8月6日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
11+阅读 · 2021年6月20日
【NeurIPS2020】可处理的反事实推理的深度结构因果模型
专知会员服务
47+阅读 · 2020年9月28日
相关资讯
【AAAI2023】用于图对比学习的谱特征增强
专知
18+阅读 · 2022年12月11日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员