Implicit Neural Representations (INRs) leverage neural networks to map coordinates to corresponding signals, enabling continuous and compact representations. This paradigm has driven significant advances in various vision tasks. However, existing INRs lack frequency selectivity and spatial localization, leading to an over-reliance on redundant signal components. Consequently, they exhibit spectral bias, tending to learn low-frequency components early while struggling to capture fine high-frequency details. To address these issues, we propose FLAIR (Frequency- and Locality-Aware Implicit Neural Representations), which incorporates two key innovations. The first is Band-Localized Activation (BLA), a novel activation designed for joint frequency selection and spatial localization under the constraints of the time-frequency uncertainty principle (TFUP). Through structured frequency control and spatially localized responses, BLA effectively mitigates spectral bias and enhances training stability. The second is Wavelet-Energy-Guided Encoding (WEGE), which leverages the discrete wavelet transform to compute energy scores and explicitly guide frequency information to the network, enabling precise frequency selection and adaptive band control. Our method consistently outperforms existing INRs in 2D image representation, as well as 3D shape reconstruction and novel view synthesis.


翻译:隐式神经表示(INRs)利用神经网络将坐标映射到相应信号,实现连续且紧凑的表示。这一范式已在多种视觉任务中推动显著进展。然而,现有INRs缺乏频率选择性与空间局部性,导致过度依赖冗余信号分量。因此,它们表现出频谱偏差,倾向于早期学习低频分量,而难以捕捉精细的高频细节。为解决这些问题,我们提出FLAIR(频率与局部性感知的隐式神经表示),其包含两项关键创新。第一是频带局部化激活(BLA),这是一种在时频不确定性原理(TFUP)约束下,专为联合频率选择与空间局部化设计的新型激活函数。通过结构化频率控制与空间局部化响应,BLA有效缓解频谱偏差并增强训练稳定性。第二是小波能量引导编码(WEGE),其利用离散小波变换计算能量分数,显式地将频率信息引导至网络,实现精确的频率选择与自适应频带控制。我们的方法在二维图像表示、三维形状重建及新视角合成任务中,均持续优于现有INRs。

0
下载
关闭预览

相关内容

【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
【NeurIPS2021】NeRV:视频的神经表示
专知会员服务
12+阅读 · 2021年10月28日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关VIP内容
【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
【NeurIPS2021】NeRV:视频的神经表示
专知会员服务
12+阅读 · 2021年10月28日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员