【FB陈鑫磊-何恺明】SimSiam：消除表征学习“崩溃解”，探寻对比表达学习成功之根源

孪生网络已成为无监督表达学习领域的通用架构，现有方法通过最大化同一图像的两者增广的相似性使其避免“崩溃解(collapsing solutions)”问题。在这篇研究中，作者提出一种惊人的实证结果：Simple Siamese(SimSiam)网络甚至可以在无（(1) negative sample pairs；(2)large batch；(3)momentum encoders）的情形下学习有意义的特征表达。

作者通过实验表明：对于损失与结构而言，“崩溃解”确实存在，但是“stop-gradient”操作对于避免“崩溃解”有非常重要的作用。作者提出了一种新颖的“stop-gradient”思想并通过实验对其进行了验证，该文所提SimSiam在ImageNet及下游任务上均取得了有竞争力的结果。作者期望：这个简单的基准方案可以驱动更多研员重新思考无监督表达学习中的孪生结构。

Method