Polysomnography signals are highly heterogeneous, varying in modality composition (e.g., EEG, EOG, ECG), channel availability (e.g., frontal, occipital EEG), and acquisition protocols across datasets and clinical sites. Most existing models that process polysomnography data rely on a fixed subset of modalities or channels and therefore neglect to fully exploit its inherently multimodal nature. We address this limitation by introducing NAP (Neural Aggregator of Predictions), an attention-based model which learns to combine multiple prediction streams using a tri-axial attention mechanism that captures temporal, spatial, and predictor-level dependencies. NAP is trained to adapt to different input dimensions. By aggregating outputs from frozen, pretrained single-channel models, NAP consistently outperforms individual predictors and simple ensembles, achieving state-of-the-art zero-shot generalization across multiple datasets. While demonstrated in the context of automated sleep staging from polysomnography, the proposed approach could be extended to other multimodal physiological applications.


翻译:多导睡眠图信号具有高度异质性,其模态组成(如脑电图、眼电图、心电图)、通道可用性(如额叶、枕叶脑电图)以及采集协议在不同数据集和临床中心间存在显著差异。现有大多数处理多导睡眠图数据的模型依赖于固定的模态或通道子集,因此未能充分利用其固有的多模态特性。为解决这一局限,我们提出了NAP(神经预测聚合器),这是一种基于注意力机制的模型,通过三轴注意力机制学习融合多个预测流,该机制能够捕捉时间、空间和预测器层面的依赖关系。NAP经过训练可适应不同的输入维度。通过聚合来自冻结的预训练单通道模型的输出,NAP在多个数据集上持续超越个体预测器及简单集成方法,实现了最先进的零样本泛化性能。虽然本研究在基于多导睡眠图的自动睡眠分期任务中验证了该方法的有效性,但所提出的框架可扩展至其他多模态生理信号分析应用。

0
下载
关闭预览

相关内容

【ACMMM2025】EvoVLMA: 进化式视觉-语言模型自适应
专知会员服务
15+阅读 · 8月5日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员