斯坦福MIT-CMU【NeurIPS 2022】条件GANs和扩散模型的有效空间稀疏推断

在图像编辑过程中，现有的深度生成模型倾向于从头重新合成整个输出，包括未编辑的区域。这将导致严重的计算浪费，特别是对于较小的编辑操作。在这项工作中，我们提出了空间稀疏推断(SSI)，这是一种通用技术，可选择性地对编辑区域执行计算，并加速各种生成模型，包括条件GANs和扩散模型。我们的主要观察结果是，用户倾向于对输入图像进行渐进的更改。这促使我们缓存和重用原始图像的特征映射。给定一个编辑过的图像，我们对编辑过的区域稀疏地应用卷积滤波器，而对未编辑的区域重用缓存的特征。基于我们的算法，我们进一步提出了稀疏增量生成引擎(稀疏增量生成引擎，SIGE)，将现有硬件上的计算减少转化为延迟减少。在1.2%的编辑区域中，我们的方法在保持视觉保真度的同时，减少了7.5× DDIM和18× GauGAN的计算。利用SIGE，我们将DDIM在RTX 3090和Apple M1 Pro CPU上的推理时间分别提高了3.0×和6.6×，将ggaan在RTX 3090和Apple M1 Pro CPU上的推理时间分别提高了4.2×和14×。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SIGE” 就可以获取《斯坦福MIT-CMU【NeurIPS 2022】条件GANs和扩散模型的有效空间稀疏推断》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料