Traffic image restoration under adverse weather conditions remains a critical challenge for intelligent transportation systems. Existing methods primarily focus on spatial-domain modeling but neglect frequency-domain priors. Although the emerging Mamba architecture excels at long-range dependency modeling through patch-wise correlation analysis, its potential for frequency-domain feature extraction remains unexplored. To address this, we propose Frequency-Aware Mamba (FAMamba), a novel framework that integrates frequency guidance with sequence modeling for efficient image restoration. Our architecture consists of two key components: (1) a Dual-Branch Feature Extraction Block (DFEB) that enhances local-global interaction via bidirectional 2D frequency-adaptive scanning, dynamically adjusting traversal paths based on sub-band texture distributions; and (2) a Prior-Guided Block (PGB) that refines texture details through wavelet-based high-frequency residual learning, enabling high-quality image reconstruction with precise details. Meanwhile, we design a novel Adaptive Frequency Scanning Mechanism (AFSM) for the Mamba architecture, which enables the Mamba to achieve frequency-domain scanning across distinct subgraphs, thereby fully leveraging the texture distribution characteristics inherent in subgraph structures. Extensive experiments demonstrate the efficiency and effectiveness of FAMamba.


翻译:恶劣天气条件下的交通图像复原对于智能交通系统而言仍是一个关键挑战。现有方法主要侧重于空间域建模,却忽视了频域先验知识。尽管新兴的Mamba架构通过分块相关性分析在长程依赖建模方面表现出色,但其在频域特征提取方面的潜力尚未得到充分探索。为此,我们提出频率感知Mamba(FAMamba),这是一种将频率引导与序列建模相结合的新型框架,用于高效图像复原。该架构包含两个核心组件:(1)双分支特征提取块(DFEB),通过双向二维频率自适应扫描增强局部-全局交互,并基于子带纹理分布动态调整遍历路径;(2)先验引导块(PGB),通过基于小波的高频残差学习细化纹理细节,实现具有精确细节的高质量图像重建。同时,我们为Mamba架构设计了一种新颖的自适应频率扫描机制(AFSM),使Mamba能够在不同子图间实现频域扫描,从而充分利用子图结构固有的纹理分布特性。大量实验验证了FAMamba的高效性与有效性。

0
下载
关闭预览

相关内容

论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员