Diffusion models (DMs) have emerged as powerful image priors in Bayesian computational imaging. Two primary strategies have been proposed for leveraging DMs in this context: Plug-and-Play methods, which are zero-shot and highly flexible but rely on approximations; and specialized conditional DMs, which achieve higher accuracy and faster inference for specific tasks through supervised training. In this work, we introduce a novel framework that integrates deep unfolding and model distillation to transform a DM image prior into a few-step conditional model for posterior sampling. A central innovation of our approach is the unfolding of a Markov chain Monte Carlo (MCMC) algorithm - specifically, the recently proposed LATINO Langevin sampler (Spagnoletti et al., 2025) - representing the first known instance of deep unfolding applied to a Monte Carlo sampling scheme. We demonstrate our proposed unfolded and distilled samplers through extensive experiments and comparisons with the state of the art, where they achieve excellent accuracy and computational efficiency, while retaining the flexibility to adapt to variations in the forward model at inference time.


翻译:扩散模型已成为贝叶斯计算成像中强大的图像先验。目前主要提出了两种利用扩散模型的策略:即插即用方法,该方法为零样本且高度灵活,但依赖于近似;以及专用条件扩散模型,通过监督训练在特定任务中实现更高的精度和更快的推理。在本工作中,我们引入了一种新颖框架,该框架结合了深度展开和模型蒸馏,将扩散模型图像先验转化为用于后验采样的少步条件模型。我们方法的核心创新在于对马尔可夫链蒙特卡罗算法——特别是最近提出的LATINO朗之万采样器(Spagnoletti等人,2025年)——进行展开,这是深度展开首次应用于蒙特卡罗采样方案的已知实例。我们通过大量实验以及与最先进方法的比较,展示了所提出的展开与蒸馏采样器,其在保持适应前向模型在推理时变化的灵活性的同时,实现了优异的精度和计算效率。

0
下载
关闭预览

相关内容

【AAAI2024】使用大型语言模型的生成式多模态知识检索
专知会员服务
58+阅读 · 2024年1月19日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
22+阅读 · 2021年4月11日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员