Graph Neural Networks (GNNs) with attention have been successfully applied for learning visual feature matching. However, current methods learn with complete graphs, resulting in a quadratic complexity in the number of features. Motivated by a prior observation that self- and cross- attention matrices converge to a sparse representation, we propose ClusterGNN, an attentional GNN architecture which operates on clusters for learning the feature matching task. Using a progressive clustering module we adaptively divide keypoints into different subgraphs to reduce redundant connectivity, and employ a coarse-to-fine paradigm for mitigating miss-classification within images. Our approach yields a 59.7% reduction in runtime and 58.4% reduction in memory consumption for dense detection, compared to current state-of-the-art GNN-based matching, while achieving a competitive performance on various computer vision tasks.


翻译:图神经网络(Graph Neural Networks, GNNs)基于注意力的方法已成功应用于学习视觉特征匹配。然而,现有方法在完全图中学习,导致特征数量的二次计算复杂度。受到前一个观察到的自注意力和交叉注意力矩阵收敛于稀疏表示的启发,我们提出了ClusterGNN,这是一种注意力GNN体系结构,它基于聚类操作用于学习特征匹配任务。我们使用一个逐步聚类的模块将关键点自适应地分成不同的子图以减少冗余连接,并采用粗到细的范例减轻图像内的误分类情况。与当前最先进的基于GNN匹配方法相比,我们的方法在不同的计算机视觉任务中取得了竞争性能,同时在密集检测中减少了59.7%的运行时间和58.4%的内存消耗。

0
下载
关闭预览

相关内容

【PKDD 2021】PaGNN:基于交互结构学习的链路预测
专知会员服务
17+阅读 · 2021年11月26日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
56+阅读 · 2021年1月26日
专知会员服务
60+阅读 · 2020年3月19日
一文带你浏览Graph Transformers
图与推荐
1+阅读 · 2022年7月14日
视频目标检测:Flow-based
极市平台
22+阅读 · 2019年5月27日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
23+阅读 · 2022年2月24日
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
Arxiv
19+阅读 · 2021年2月4日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Arxiv
24+阅读 · 2018年10月24日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员