【NeurIPS2025】开源权重模型的知识蒸馏检测

我们提出了知识蒸馏检测这一新任务，其目标是在一种实际场景下判断某个学生模型是否由给定教师模型蒸馏而来。在该场景中，研究者仅能访问学生模型的权重以及教师模型的 API。该问题的提出源于人们对模型来源（provenance）以及通过蒸馏进行未授权复制的担忧日益增加。 为解决这一任务，我们提出了一种与模型无关的检测框架，该框架结合了无数据输入合成与统计得分计算方法来实现蒸馏检测。该方法同时适用于分类模型和生成模型。 在图像分类与文本生成图像任务的多种架构上进行的实验表明，我们的方法在检测准确率上显著超越最强基线：在 CIFAR-10 上提升了 59.6%，在 ImageNet 上提升了 71.2%，在文本生成图像任务上提升了 20.0%。我们的代码已开源，链接为：https://github.com/shqii1j/distillation_detection。