Sheaf Neural Networks equip graph structures with a cellular sheaf: a geometric structure which assigns local vector spaces (stalks) and a linear learnable restriction/transport maps to nodes and edges, yielding an edge-aware inductive bias that handles heterophily and limits oversmoothing. However, common Neural Sheaf Diffusion implementations rely on SVD-based sheaf normalization and dense per-edge restriction maps, which scale with stalk dimension, require frequent Laplacian rebuilds, and yield brittle gradients. To address these limitations, we introduce Polynomial Neural Sheaf Diffusion (PolyNSD), a new sheaf diffusion approach whose propagation operator is a degree-K polynomial in a normalised sheaf Laplacian, evaluated via a stable three-term recurrence on a spectrally rescaled operator. This provides an explicit K-hop receptive field in a single layer (independently of the stalk dimension), with a trainable spectral response obtained as a convex mixture of K+1 orthogonal polynomial basis responses. PolyNSD enforces stability via convex mixtures, spectral rescaling, and residual/gated paths, reaching new state-of-the-art results on both homophilic and heterophilic benchmarks, inverting the Neural Sheaf Diffusion trend by obtaining these results with just diagonal restriction maps, decoupling performance from large stalk dimension, while reducing runtime and memory requirements.


翻译:层神经网络为图结构配备了胞腔层:一种几何结构,为节点和边分配局部向量空间(茎)及可学习的线性限制/传输映射,从而产生一种能够处理异配性并限制过度平滑的边感知归纳偏置。然而,常见的神经层扩散实现依赖于基于奇异值分解的层归一化和稠密的每边限制映射,这些方法随茎维度扩展,需要频繁重建拉普拉斯矩阵,并产生脆弱的梯度。为解决这些局限性,我们提出了多项式神经层扩散(PolyNSD),这是一种新的层扩散方法,其传播算子为归一化层拉普拉斯算子的K次多项式,通过谱重缩放算子的稳定三项递推进行计算。该方法在单层中提供了明确的K跳感受野(独立于茎维度),并通过K+1个正交多项式基响应的凸组合获得可训练的谱响应。PolyNSD通过凸组合、谱重缩放以及残差/门控路径确保稳定性,在同配性和异配性基准测试中均达到新的最先进结果,通过仅使用对角限制映射获得这些结果,颠覆了神经层扩散的趋势,使性能与大型茎维度解耦,同时降低了运行时间和内存需求。

0
下载
关闭预览

相关内容

专知会员服务
24+阅读 · 2020年9月15日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员