在图像编辑过程中，现有的深度生成模型倾向于从头重新合成整个输出，包括未编辑的区域。这将导致严重的计算浪费，特别是对于较小的编辑操作。在这项工作中，我们提出了空间稀疏推断(SSI)，这是一种通用技术，可选择性地对编辑区域执行计算，并加速各种生成模型，包括条件GANs和扩散模型。我们的主要观察结果是，用户倾向于对输入图像进行渐进的更改。这促使我们缓存和重用原始图像的特征映射。给定一个编辑过的图像，我们对编辑过的区域稀疏地应用卷积滤波器，而对未编辑的区域重用缓存的特征。基于我们的算法，我们进一步提出了稀疏增量生成引擎(稀疏增量生成引擎，SIGE)，将现有硬件上的计算减少转化为延迟减少。在1.2%的编辑区域中，我们的方法在保持视觉保真度的同时，减少了7.5× DDIM和18× GauGAN的计算。利用SIGE，我们将DDIM在RTX 3090和Apple M1 Pro CPU上的推理时间分别提高了3.0×和6.6×，将ggaan在RTX 3090和Apple M1 Pro CPU上的推理时间分别提高了4.2×和14×。
成为VIP会员查看完整内容
Efficient Spatially Sparse Inference for Conditional GANs and Diffusion Models
相关内容
Arxiv
0+阅读 · 2022年12月26日
Arxiv
0+阅读 · 2022年12月26日
Arxiv
0+阅读 · 2022年12月23日
Arxiv
0+阅读 · 2022年12月22日
Arxiv
0+阅读 · 2022年12月20日
相关主题
相关VIP内容
相关资讯
相关论文
Arxiv
0+阅读 · 2022年12月26日
Arxiv
0+阅读 · 2022年12月26日
Arxiv
0+阅读 · 2022年12月23日
Arxiv
0+阅读 · 2022年12月22日
Arxiv
0+阅读 · 2022年12月20日
微信扫码咨询专知VIP会员