Exploring Simple Siamese Representation Learning
1. Motivation
Kaiming He[1]大神的又一力作，证明在自监督学习中可以学习到有意义的表征，但不使用：
（1）负样本对；
（2）大的batch；
（3）momentum encoder。
而stop-gradient操作发挥了重要作用。
本文基于Siamese networks[2]提出一个简单的调整SimSiam，Siamese networks最大的问题是容易坍塌(collapsing)到一个固定值上去。
SimCLR[3]采用增加负样本对的形式，让正样本的不同view之间距离更近，让正负样本之间距离更远。
SwAV[4]采用在线聚类的方式。
BYOL[5]只基于正样本对，但采用了momentum encoder。
2. Simple Siamese
Siamese networks可以自然导出归纳偏置（inductive biases）：模型不变性（modeling invariance），即同一个概念的两个observations，应该有相同的输出。
Simple siamese的步骤：
对于一个图片，得到两个增强的view
与
。
然后将与
经过同一个encoder
，得到两个view
与
。
将其中一个view，如，用MLP做一次预测，得到
，记为
，最小化
与
之间的负cosine相似度。
这里，投影MLP 最后一层不用激活函数；预测MLP
最后一层不用BN。
对称地再做一次预测，得到最终的loss为，
最重要的地方是，对于每一个，其中的原始view是stop-gradient的。
即,
3. Experiment
作者通过实验证明了stop-gradient的存在，防止了坍塌问题。作者认为，stop-gradient的引入，可能导致了一个另一个优化问题被潜在地解决了（翻译的有点拗口，应该就是引入了一个新的优化或者约束问题）。
Predictor MLP 也是重要的，不可或缺的。
作者假设SimSiam是EM算法的一种实现。
优点：
（1）KaimingHe一贯的风格，简单有效；在自监督学习里，用stop-gradient与预测MLP就可以得到有效的特征表示。
思考：
（1）推荐系统里能不能使用这种想法，最主要的差异是，图片很容易做augmentation，而推荐系统的特征，尤其是ID类特征并不太容易。增强的本质是某种特性的不变性，有论文用近邻来做增强，不失为一个思考方向，但是还是不如图片便捷，需要在样本处理上花费很多功夫。
4. References
[1] Chen, Xinlei, and Kaiming He. "Exploring simple siamese representation learning." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[2] Jane Bromley, Isabelle Guyon, Yann LeCun, Eduard Sa ̈ckinger, and Roopak Shah. Signature verification using a “Siamese” time delay neural network. In NeurIPS, 1994.
[3] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Ge- offrey Hinton. A simple framework for contrastive learning of visual representations. arXiv:2002.05709, 2020.
[4] MathildeCaron,IshanMisra,JulienMairal,PriyaGoyal,Pi- otr Bojanowski, and Armand Joulin. Unsupervised learn- ing of visual features by contrasting cluster assignments. arXiv:2006.09882, 2020.
[5] Jean-Bastien Grill, Florian Strub, Florent Altche ́, Corentin Tallec, Pierre H. Richemond, Elena Buchatskaya, Carl Do- ersch, Bernardo Avila Pires, Zhaohan Daniel Guo, Moham- mad Gheshlaghi Azar, Bilal Piot, Koray Kavukcuoglu, Re ́mi Munos, and Michal Valko. Bootstrap your own latent: A new approach to self-supervised learning. arXiv:2006.07733v1, 2020.
