Due to its complexity, graph learning-based multi-modal integration and classification is one of the most challenging obstacles for disease prediction. To effectively offset the negative impact between modalities in the process of multi-modal integration and extract heterogeneous information from graphs, we propose a novel method called MMKGL (Multi-modal Multi-Kernel Graph Learning). For the problem of negative impact between modalities, we propose a multi-modal graph embedding module to construct a multi-modal graph. Different from conventional methods that manually construct static graphs for all modalities, each modality generates a separate graph by adaptive learning, where a function graph and a supervision graph are introduced for optimization during the multi-graph fusion embedding process. We then propose a multi-kernel graph learning module to extract heterogeneous information from the multi-modal graph. The information in the multi-modal graph at different levels is aggregated by convolutional kernels with different receptive field sizes, followed by generating a cross-kernel discovery tensor for disease prediction. Our method is evaluated on the benchmark Autism Brain Imaging Data Exchange (ABIDE) dataset and outperforms the state-of-the-art methods. In addition, discriminative brain regions associated with autism are identified by our model, providing guidance for the study of autism pathology.


翻译:由于其复杂性,基于图学习的多模态融合和分类是疾病预测中最具挑战性的障碍之一。为了有效地抵消模态之间的负面影响并从图中提取异质信息,我们提出了一种新方法称为MMKGL(多模态多核图学习)。针对模态之间的负面影响问题,我们提出了一个多模态图嵌入模块来构建多模态图。不同于传统方法手动构造所有模态的静态图,每个模态通过自适应学习生成一个单独的图,在多图融合嵌入过程中进行优化时引入了一个函数图和监督图。然后,我们提出了一个多核图学习模块来从多模态图中提取异质信息。通过具有不同接受场大小的卷积核聚合不同级别的多模态图中的信息,随后生成用于疾病预测的跨核发现张量。我们的方法在基准自闭症脑成像数据交换(ABIDE)数据集上进行评估,优于现有最先进的方法。此外,我们的模型确定了与自闭症相关的区别性大脑区域,为研究自闭症病理学提供了指导。

0
下载
关闭预览

相关内容

GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
12+阅读 · 2019年3月14日
VIP会员
相关VIP内容
相关资讯
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员