【MIT】硬负样本的对比学习

我们考虑这样一个问题:你如何为对比学习抽取好的负样本?我们认为，与度量学习一样，学习对比表示法受益于硬负样本(即，点很难与锚点区分)。使用硬负样本的关键挑战是对比方法必须保持无监督，使得采用现有的使用标签信息的负样本抽样策略不可行。作为回应，我们开发了一种新的无监督的方法来选择硬负样本，在那里用户可以控制硬负样本的数量。这种抽样的极限情况会导致对每个类进行紧密聚类的表示，并将不同的类推到尽可能远的地方。该方法提高了跨模态的下游性能，只需要少量的额外代码来实现，并且没有引入计算开销。

https://arxiv.org/pdf/2010.04592.pdf

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“CLHNS” 可以获取《【MIT】硬负样本的对比学习》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源