【CVPR2023】零样本模型诊断

当涉及到部署深度视觉模型时，这些系统的行为必须是可解释的，以确保对其可靠性和公平性的信心。评估深度学习模型的一种常见方法是用感兴趣的属性构建一个标记的测试集，并评估它的表现如何。然而，创建一个平衡的测试集(即对所有重要特征进行均匀采样的测试集)通常是耗时、昂贵且容易出错的。我们试图解决的问题是:在没有标注测试集的情况下，我们能否评估深度学习模型对任意视觉属性的敏感性?** 本文认为，零样本模型诊断(ZOOM)是可能的，而不需要测试集或标记。**为了避免对测试集的需要，系统依赖于生成模型和CLIP。其关键思想是使用户能够选择一组提示(与问题相关)，系统将使用生成模型自动搜索语义反事实图像(即在二进制分类器的情况下翻转预测的合成图像)。评估了多个视觉领域的几个视觉任务(分类、关键点检测和分割)，以证明所提出方法的可行性。广泛的实验表明，所提出方法能够产生反事实图像，并在不需要测试集的情况下为模型诊断提供灵敏度分析。

https://www.zhuanzhi.ai/paper/92ba5a252cdba0c1fcee262c68baad9a