【ICML2020-南大周志华老师组】针对未见类未标记数据的安全深度半监督学习

最近，深度半监督学习(SSL)表现得非常有效。但是，当类分布不匹配时，其性能严重下降，其中常见的情况是未标记数据中包含了一些标记数据中没有看到的类。在这个问题上的努力仍然有限。本文提出了一种简单、有效、安全的深层SSL方法来减轻其危害。从理论上讲，新方法学习的结果不会比单纯的标记数据学习差，并且在理论上保证了其在O(pdln (n)/n)阶上的泛化接近最优，甚至比具有大量参数的监督学习的收敛速度更快。在基准测试数据实验中，与现有的深度SSL方法相比，在40%的未见类未标记数据中，深度SSL方法不如监督学习，新方法仍然可以在60%以上的未见类未标记数据中实现性能提升。此外，该方法适用于许多深度SSL算法，并且可以很容易地扩展以处理类分布不匹配的其他情况。