【CVPR2023】魔鬼在查询中:面向真实世界医学图像分割和分布外定位的改进掩模transformer

现实世界的医学图像分割具有巨大的对象长尾复杂性，其中尾条件与相对罕见的疾病相关，具有临床意义。一个值得信赖的医疗人工智能算法应该证明其在尾部条件下的有效性，以避免在这些分布不均(OOD)情况下的临床危险损伤。**在本文中，我们采用掩码Transformers 中的对象查询的概念来制定语义分割作为软聚类分配。在训练过程中，查询符合inlier的特征级聚类中心。**因此，在现实场景中对医学图像进行推理时，像素与查询之间的相似性检测并定位OOD区域。我们将这种OOD本地化称为MaxQuery。此外，现实世界医学图像的前景，无论是OOD对象或内层，都是病变。它们之间的差异小于前景和背景之间的差异，可能会误导对象查询冗余地集中在背景上。因此，我们提出了一个查询分布(QD)损失，在查询级别强制分割目标和其他区域之间的明确边界，改善了inlier分割和OOD指示。我们提出的框架在两个真实世界的分割任务上进行了测试，即胰腺和肝脏肿瘤的分割，在AUROC上平均表现为7.39%，在AUPR上平均表现为14.69%，在FPR95上平均表现为13.79%，用于OOD定位。另一方面，与领先的基线nnUNet相比，我们的框架将inlier分割的性能平均提高了5.27%。