[NeurIPS 2020] 球形嵌入的深度度量学习

由于距离度量学习与深度神经网络的无缝结合，近年来深度度量学习受到了广泛的关注。许多人致力于设计不同的基于成对的角损失函数，将嵌入向量的大小和方向信息解耦，保证训练和测试测度的一致性。但是，这些传统的角度损失并不能保证在训练阶段所有的样本嵌入都在同一个超球面上，这会导致批量优化时梯度不稳定，影响嵌入学习的快速收敛。本文首先研究了嵌入范数对角距离深度度量学习的影响，然后提出了一个球面嵌入约束(SEC)来规范范数的分布。SEC自适应地调整嵌入，以落在同一个超球体上，并执行更平衡的方向更新。在深度度量学习、人脸识别和对比自监督学习方面的大量实验表明，基于SEC的角空间学习策略显著提高了最先进的性能。

https://arxiv.org/abs/2011.02785