【MIT】硬负样本的对比学习

2020 年 10 月 15 日 专知



我们考虑这样一个问题:你如何为对比学习抽取好的负样本?我们认为,与度量学习一样,学习对比表示法受益于硬负样本(即,点很难与锚点区分)。使用硬负样本的关键挑战是对比方法必须保持无监督,使得采用现有的使用标签信息的负样本抽样策略不可行。作为回应,我们开发了一种新的无监督的方法来选择硬负样本,在那里用户可以控制硬负样本的数量。这种抽样的极限情况会导致对每个类进行紧密聚类的表示,并将不同的类推到尽可能远的地方。该方法提高了跨模态的下游性能,只需要少量的额外代码来实现,并且没有引入计算开销。


https://arxiv.org/pdf/2010.04592.pdf



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CLHNS” 可以获取《【MIT】硬负样本的对比学习》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
13

相关内容

最新《对比监督学习》综述论文,20页pdf
专知会员服务
82+阅读 · 2020年11月5日
【NeurIPS 2020】对比学习全局和局部医学图像分割特征
专知会员服务
42+阅读 · 2020年10月20日
专知会员服务
28+阅读 · 2020年10月2日
【2020 最新论文】对比学习中什么应该不是对比的?
专知会员服务
38+阅读 · 2020年8月16日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
82+阅读 · 2020年6月9日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
26+阅读 · 2020年4月6日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
最新《图嵌入组合优化》综述论文,40页pdf
【KDD2020-阿里】可调控的多兴趣推荐框架
专知
9+阅读 · 2020年8月11日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
Arxiv
0+阅读 · 2020年11月27日
Arxiv
4+阅读 · 2018年4月17日
VIP会员
相关VIP内容
最新《对比监督学习》综述论文,20页pdf
专知会员服务
82+阅读 · 2020年11月5日
【NeurIPS 2020】对比学习全局和局部医学图像分割特征
专知会员服务
42+阅读 · 2020年10月20日
专知会员服务
28+阅读 · 2020年10月2日
【2020 最新论文】对比学习中什么应该不是对比的?
专知会员服务
38+阅读 · 2020年8月16日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
82+阅读 · 2020年6月9日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
26+阅读 · 2020年4月6日
Top
微信扫码咨询专知VIP会员