【NeurIPS2021】基于自适应均衡学习的半监督语义分割

由于数据有限甚至不均衡，半监督语义分割在某些类别上的性能往往较差，例如在cityscape数据集中显示长尾标签分布的尾类。现有的方法几乎都忽视了这个问题，并对类别一视同仁。一些流行的方法，如一致性正则化或伪标签，甚至可能会损害对表现不佳类别的学习，这些类别的预测或伪标签可能太不准确，无法指导对未标记数据的学习。本文针对这一问题，提出了一种新的半监督语义分割框架——自适应均衡学习(adaptive equalization learning, AEL)。AEL自适应地平衡了训练好的和表现不好的类别，在训练期间用一个信心库动态跟踪类别的表现。信心库被用作向表现不佳的类别倾斜训练的指标，具体体现在三种策略中: 1) 自适应的Copy-Paste和CutMix数据增强方法，使表现不佳的类别有更多的机会被复制或删除; 2) 自适应数据采样方法，鼓励对表现不佳类别的像素进行采样; 3) 采用一种简单而有效的加权方法来减轻伪标记带来的训练噪声。在实验上，在不同的数据划分协议下，AEL在Cityscapes和Pascal VOC基准测试上的表现大大优于最先进的方法。

代码可在https://github.com/hzhupku/SemiSeg-AEL上找到。

https://www.zhuanzhi.ai/paper/c2996117b091cfceeb74aa4331bd1047