基于2D的工业异常检测已被广泛讨论,然而基于3D点云和RGB图像的多模态工业异常检测仍有许多未触及的领域。现有的多模态工业异常检测方法直接将多模态特征进行级联,导致特征之间存在较强的扰动,影响检测性能。本文提出Multi-3D-Memory (M3DM),一种基于混合融合方案的多模态异常检测方法:首先,设计了一种基于块对比学习的无监督特征融合,以鼓励不同模态特征的交互;其次,采用多个记忆体的决策层融合来避免信息损失,并增加新的分类器来做出最终决策。进一步提出一种点特征对齐操作,以更好地对齐点云和RGB特征。在MVTec-3D AD数据集上的实验表明,所提出的多模态工业异常检测模型在检测精度和分割精度上均优于目前最先进的SOTA方法。代码可以在https://github.com/nomewang/M3DM上找到。
https://www.zhuanzhi.ai/paper/4b991c7643074263cf3b256b8efaa9b4