Visual explanations for object detectors are crucial for enhancing their reliability. Object detectors identify and localize instances by assessing multiple visual features collectively. When generating explanations, overlooking these collective influences in detections may lead to missing compositional cues or capturing spurious correlations. However, existing methods typically focus solely on individual pixel contributions, neglecting the collective contribution of multiple pixels. To address this limitation, we propose a game-theoretic method based on Shapley values and interactions to explicitly capture both individual and collective pixel contributions. Our method provides explanations for both bounding box localization and class determination, highlighting regions crucial for detection. Extensive experiments demonstrate that the proposed method identifies important regions more accurately than state-of-the-art methods. The code is available at https://github.com/tttt-0814/VX-CODE


翻译:目标检测器的视觉解释对于提升其可靠性至关重要。目标检测器通过综合评估多个视觉特征来识别和定位实例。在生成解释时,若忽视检测过程中的这些集体性影响,可能导致遗漏组合性线索或捕捉虚假相关性。然而,现有方法通常仅关注单个像素的贡献,忽略了多个像素的集体贡献。为克服这一局限,我们提出一种基于沙普利值与交互作用的博弈论方法,以显式捕获像素的个体贡献与集体贡献。我们的方法为边界框定位与类别判定均提供解释,并突出显示对检测至关重要的区域。大量实验表明,所提方法比现有最先进方法能更准确地识别重要区域。代码发布于 https://github.com/tttt-0814/VX-CODE

0
下载
关闭预览

相关内容

【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
【AAAI2024】面向序列推荐的插件扩散模型
专知会员服务
27+阅读 · 2024年1月9日
专知会员服务
10+阅读 · 2021年10月6日
专知会员服务
41+阅读 · 2021年6月19日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员