【博士论文】开放集识别及其在计算机视觉中的应用

当前的深度学习模型被训练以适应训练集的分布。尽管得益于前沿架构设计的显著进展，这些模型仍无法对分布外（OOD）样本进行推理——即那些与训练集范围不一致的实例。与人类不同，人类能够自然地识别未知的事物，而当前的深度学习模型却缺乏这一能力。由于很难将开放世界中的所有物体包含在训练集中，设计一种开放集识别算法来检测和拒绝OOD样本变得至关重要。本论文聚焦于研究开放集识别及其在计算机视觉中的应用。首先，我们介绍了一个用于自动驾驶应用的开放集3D语义分割系统。我们的目标是检测那些不常见的、未包含在训练集中的异常物体，因为这些离群点对自动驾驶系统的安全至关重要。随后，我们从信息瓶颈的角度分析开放集问题，并提出了一种原型相似度学习算法，以学习更多类别特定和实例特定的信息，从而提高开放集识别性能。最后，我们深入分析了一个新设定——统一开放集识别，在这一设定中，既要检测OOD样本，也要检测那些被错误分类的训练集内样本，因为模型对这些样本的预测是错误的。总的来说，我们的工作为开放集识别社区提供了新的理论分析视角、新的训练与评估设定，以及新的应用方向。