Visual geo-localization requires extensive geographic knowledge and sophisticated reasoning to determine image locations without GPS metadata. Traditional retrieval methods are constrained by database coverage and quality. Recent Large Vision-Language Models (LVLMs) enable direct location reasoning from image content, yet individual models struggle with diverse geographic regions and complex scenes. Existing multi-agent systems improve performance through model collaboration but treat all agent interactions uniformly. They lack mechanisms to handle conflicting predictions effectively. We propose \textbf{GraphGeo}, a multi-agent debate framework using heterogeneous graph neural networks for visual geo-localization. Our approach models diverse debate relationships through typed edges, distinguishing supportive collaboration, competitive argumentation, and knowledge transfer. We introduce a dual-level debate mechanism combining node-level refinement and edge-level argumentation modeling. A cross-level topology refinement strategy enables co-evolution between graph structure and agent representations. Experiments on multiple benchmarks demonstrate GraphGeo significantly outperforms state-of-the-art methods. Our framework transforms cognitive conflicts between agents into enhanced geo-localization accuracy through structured debate.


翻译:视觉地理定位需要广泛的地理知识和复杂的推理能力,以在没有GPS元数据的情况下确定图像位置。传统的检索方法受限于数据库覆盖范围和质量。近期的大型视觉语言模型(LVLMs)能够直接从图像内容进行位置推理,但单个模型难以应对多样化的地理区域和复杂场景。现有的多智能体系统通过模型协作提升了性能,但将所有智能体交互视为同质处理,缺乏有效处理冲突预测的机制。我们提出\textbf{GraphGeo},一种基于异构图神经网络的多智能体辩论框架,用于视觉地理定位。我们的方法通过类型化边建模多样化的辩论关系,区分支持性协作、竞争性论证和知识传递。我们引入了一种结合节点级细化和边级论证建模的双层辩论机制。跨层拓扑优化策略实现了图结构与智能体表征的协同演化。在多个基准测试上的实验表明,GraphGeo显著优于现有最先进方法。我们的框架通过结构化辩论,将智能体间的认知冲突转化为更高的地理定位精度。

0
下载
关闭预览

相关内容

【ACMMM2025】EvoVLMA: 进化式视觉-语言模型自适应
专知会员服务
15+阅读 · 8月5日
【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员