Endoscopic images often suffer from diverse and co-occurring degradations such as low lighting, smoke, and bleeding, which obscure critical clinical details. Existing restoration methods are typically task-specific and often require prior knowledge of the degradation type, limiting their robustness in real-world clinical use. We propose EndoIR, an all-in-one, degradation-agnostic diffusion-based framework that restores multiple degradation types using a single model. EndoIR introduces a Dual-Domain Prompter that extracts joint spatial-frequency features, coupled with an adaptive embedding that encodes both shared and task-specific cues as conditioning for denoising. To mitigate feature confusion in conventional concatenation-based conditioning, we design a Dual-Stream Diffusion architecture that processes clean and degraded inputs separately, with a Rectified Fusion Block integrating them in a structured, degradation-aware manner. Furthermore, Noise-Aware Routing Block improves efficiency by dynamically selecting only noise-relevant features during denoising. Experiments on SegSTRONG-C and CEC datasets demonstrate that EndoIR achieves state-of-the-art performance across multiple degradation scenarios while using fewer parameters than strong baselines, and downstream segmentation experiments confirm its clinical utility.


翻译:内窥镜图像常受多种并发退化影响,如光照不足、烟雾和出血,这些因素会掩盖关键的临床细节。现有的复原方法通常针对特定任务,且往往需要预先了解退化类型,限制了其在真实临床环境中的鲁棒性。我们提出了EndoIR,一种基于扩散模型的、退化无关的一体化框架,能够使用单一模型复原多种退化类型。EndoIR引入了双域提示器,提取联合的空频特征,并结合自适应嵌入,将共享和任务特定的线索编码为去噪的条件。为缓解传统基于拼接的条件化方法中的特征混淆问题,我们设计了双流扩散架构,分别处理清晰和退化输入,并通过校正融合块以结构化、退化感知的方式整合它们。此外,噪声感知路由块通过动态选择去噪过程中仅与噪声相关的特征来提高效率。在SegSTRONG-C和CEC数据集上的实验表明,EndoIR在多种退化场景下实现了最先进的性能,同时使用的参数少于强基线模型,下游分割实验也证实了其临床实用性。

0
下载
关闭预览

相关内容

【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员