【NeurIPS2021】Spatial Ensemble：一种新颖的用于学生-老师框架的模型平滑机制

中文题目：Spatial Ensemble：一种新颖的用于学生-老师框架的模型平滑机制

论文链接：https://arxiv.org/abs/2110.01253

模型平滑技术广泛应用于基于学生-老师框架的自监督和半监督框架中。时序平滑是当前主流的模型平滑技术，其通过加权平均的方式不断用最新的学生网络的参数来更新老师网络的参数。

本文中我们提出了一种新颖的空间平滑技术 Spatial Ensemble，其随机地从学生网络挑选一部分子结构来直接替换老师网络中对应子结构的参数。以这种方式，老师网络”缝合“了历史学生模型的不同子结构，形成”空间集成“效应。

实验表明，Spatial Ensemble 能够取得与时序平滑技术相似的平滑效应。且两者具有良好的互补性，其联合形式”时空平滑“在自监督和半监督任务上带来了一致的性能提升。