【牛津大学博士论文】探索半监督学习的概率模型，127页pdf

深度神经网络越来越多地被用于计算机视觉任务，这得益于它们的强大性能。然而，它们的训练需要大规模的标记数据集，这些数据集的准备工作非常耗时。半监督学习（SSL）通过从标记和未标记数据的混合中学习提供了一个解决方案。虽然大多数最先进的SSL方法遵循确定性方法，但对其概率对应物的探索仍然有限。这一研究领域非常重要，因为概率模型可以提供对现实世界应用至关重要的不确定性估计。例如，由于未标记数据中潜在的伪标签错误，接受SSL训练的模型可能不及接受监督学习训练的模型，这些模型在实践中更可能做出错误的预测。特别是在医学图像分析和自动驾驶等关键领域，决策者必须了解模型的局限性以及可能发生错误预测的时机，这些洞察通常由不确定性估计提供。此外，当使用未标记样本进行训练时，不确定性还可以作为过滤不可靠伪标签的标准，从而可能提高深度模型的性能。本论文进一步探索了SSL的概率模型。依靠广泛使用的贝叶斯近似工具——蒙特卡洛（MC）dropout，我提出了一个新的概率框架，即生成式贝叶斯深度学习（GBDL）架构，用于半监督医学图像分割。这种方法不仅缓解了以前方法中发现的潜在过拟合问题，而且在四个评估指标中都取得了更优的结果。与其经验设计的前身不同，GBDL由完整的贝叶斯公式支撑，提供了理论上的概率基础。承认MC dropout的局限性，我引入了NP-Match，一种新的大规模半监督图像分类的概率方法。通过在不同的挑战性设置中进行广泛的实验，包括标准的、不平衡的和多标签的半监督图像分类，我们评估了NP-Match的泛化能力。根据实验结果，NP-Match不仅与以前的最先进方法相比有优势，而且比基于MC-dropout的模型更快地估计不确定性，从而提高了训练和测试的效率。最后，我提出了NP-SemiSeg，一种新的半监督语义分割的概率模型。这种灵活的模型可以与各种现有的分割框架集成，以进行预测和估计不确定性。实验表明，NP-SemiSeg在准确性、不确定性量化和速度方面都超过了MC dropout。