Image-to-Image (I2I) translation involves converting an image from one domain to another. Deterministic I2I translation, such as in image super-resolution, extends this concept by guaranteeing that each input generates a consistent and predictable output, closely matching the ground truth (GT) with high fidelity. In this paper, we propose a denoising Brownian bridge model with dual approximators (Dual-approx Bridge), a novel generative model that exploits the Brownian bridge dynamics and two neural network-based approximators (one for forward and one for reverse process) to produce faithful output with negligible variance and high image quality in I2I translations. Our extensive experiments on benchmark datasets including image generation and super-resolution demonstrate the consistent and superior performance of Dual-approx Bridge in terms of image quality and faithfulness to GT when compared to both stochastic and deterministic baselines. Project page and code: https://github.com/bohan95/dual-app-bridge


翻译:图像到图像(I2I)转换涉及将图像从一个域转换到另一个域。确定性I2I转换(例如在图像超分辨率中)扩展了这一概念,它保证每个输入都能生成一致且可预测的输出,以高保真度紧密匹配真实值(GT)。本文提出了一种具有双重逼近器的去噪布朗桥模型(Dual-approx Bridge),这是一种新颖的生成模型,它利用布朗桥动力学和两个基于神经网络的逼近器(一个用于前向过程,一个用于反向过程),在I2I转换中以可忽略的方差和高质量生成忠实的输出。我们在包括图像生成和超分辨率在内的基准数据集上进行的大量实验表明,与随机性和确定性基线方法相比,Dual-approx Bridge在图像质量和对GT的忠实度方面均表现出持续且优越的性能。项目页面与代码:https://github.com/bohan95/dual-app-bridge

0
下载
关闭预览

相关内容

【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员