【ICML2021】Dash:带有动态阈值的半监督学习

半监督学习(SSL)由于成功地使用了未标记数据，在许多机器学习任务中受到了极大的关注，而现有的SSL算法在训练过程中要么使用所有未标记的示例，要么使用具有固定高置信度预测的未标记示例。然而，可能会有太多正确/错误的伪标签示例被删除/选择。在本工作中，我们提出一个简单但强大的训练示例子集，以便只使用与已标记数据相关的伪标签的未标记示例来训练模型。在每次更新迭代中，只保留损失小于给定阈值(通过迭代动态调整)的示例，从而执行选择。我们提出的Dash方法在无标记数据选择方面具有自适应性，并具有理论保障。具体地，我们从非凸优化的角度从理论上建立了Dash的收敛速度。最后，我们通过与最先进的基准比较，证明了该方法的有效性。

http://proceedings.mlr.press/v139/xu21e.html