由于距离度量学习与深度神经网络的无缝结合,近年来深度度量学习受到了广泛的关注。许多人致力于设计不同的基于成对的角损失函数,将嵌入向量的大小和方向信息解耦,保证训练和测试测度的一致性。但是,这些传统的角度损失并不能保证在训练阶段所有的样本嵌入都在同一个超球面上,这会导致批量优化时梯度不稳定,影响嵌入学习的快速收敛。本文首先研究了嵌入范数对角距离深度度量学习的影响,然后提出了一个球面嵌入约束(SEC)来规范范数的分布。SEC自适应地调整嵌入,以落在同一个超球体上,并执行更平衡的方向更新。在深度度量学习、人脸识别和对比自监督学习方面的大量实验表明,基于SEC的角空间学习策略显著提高了最先进的性能。

https://arxiv.org/abs/2011.02785

成为VIP会员查看完整内容
16

相关内容

【NeurIPS 2020】通过双向传播的可扩展图神经网络
专知会员服务
27+阅读 · 2020年11月3日
专知会员服务
27+阅读 · 2020年10月24日
【NeurIPS 2020】对比学习全局和局部医学图像分割特征
专知会员服务
42+阅读 · 2020年10月20日
【NeurIPS 2020】大规模分布式鲁棒优化方法
专知会员服务
25+阅读 · 2020年10月13日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
深度度量学习-论文简评
极市平台
10+阅读 · 2020年6月21日
深度度量学习中的损失函数
极市平台
7+阅读 · 2019年10月30日
度量学习中的pair-based loss
极市平台
65+阅读 · 2019年7月17日
CVPR 19系列2 | 强判别能力的深度人脸识别(文末附有源码)
Arxiv
6+阅读 · 2020年12月8日
Arxiv
8+阅读 · 2018年7月12日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
11+阅读 · 2018年1月18日
VIP会员
相关VIP内容
相关资讯
深度度量学习-论文简评
极市平台
10+阅读 · 2020年6月21日
深度度量学习中的损失函数
极市平台
7+阅读 · 2019年10月30日
度量学习中的pair-based loss
极市平台
65+阅读 · 2019年7月17日
CVPR 19系列2 | 强判别能力的深度人脸识别(文末附有源码)
微信扫码咨询专知VIP会员