学生作者:王希梅,高敬涵

https://www.zhuanzhi.ai/paper/2d828976f615c8c8bf691f9235b05fc1

摘要:大规模标记数据集推动深度学习获得广泛应用,但在现实场景中收集足量的标记数据往往耗时耗力。为了降低对标记数据的需求,半监督学习侧重于同时探索标记和未标记数据,而迁移学习旨在将预训练模型微调到目标数据中。然而,从头训练的半监督自训练模型容易被错误的伪标签所误导,而仅仅挖掘有限标记数据的迁移学习方法则面临模型漂移的挑战。为了实现数据高效的深度学习,本文提出的Self-Tuning方法设计了一种新的“伪标签组对比”机制,将标记和未标记数据的探索与预训练模型的迁移统一起来。在多个基准数据集中,Self-Tuning的性能取得大幅提升,例如,在标签比例为15%的Stanford Cars中,Self-Tuning相较标准fine-tuning获得了翻倍的准确率。

arxiv链接: https://www.zhuanzhi.ai/paper/2d828976f615c8c8bf691f9235b05fc1

成为VIP会员查看完整内容
20

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
26+阅读 · 2021年6月24日
【CVPR2021】深度学习细粒度视觉分析
专知会员服务
28+阅读 · 2021年6月23日
专知会员服务
10+阅读 · 2021年6月20日
专知会员服务
21+阅读 · 2021年6月8日
专知会员服务
28+阅读 · 2021年6月3日
专知会员服务
77+阅读 · 2021年5月10日
专知会员服务
16+阅读 · 2021年5月4日
【AAAI2021】基于双任务一致性的半监督医学图像分割
专知会员服务
24+阅读 · 2021年2月7日
基于深度学习的医学图像半监督分割
CVer
12+阅读 · 2020年9月24日
基于深度迁移学习进行时间序列分类
PaperWeekly
14+阅读 · 2018年11月15日
keras系列︱深度学习五款常用的已训练模型
数据挖掘入门与实战
10+阅读 · 2018年3月27日
理解卷积神经网络的利器:9篇重要的深度学习论文
机器学习研究会
9+阅读 · 2018年3月20日
八大深度学习最佳实践
AI100
4+阅读 · 2018年1月31日
深度学习时代的推荐系统
大数据技术
7+阅读 · 2018年1月6日
Arxiv
0+阅读 · 2021年7月1日
Arxiv
13+阅读 · 2021年3月29日
Learning in the Frequency Domain
Arxiv
10+阅读 · 2020年3月12日
Arxiv
8+阅读 · 2018年1月25日
VIP会员
相关VIP内容
专知会员服务
26+阅读 · 2021年6月24日
【CVPR2021】深度学习细粒度视觉分析
专知会员服务
28+阅读 · 2021年6月23日
专知会员服务
10+阅读 · 2021年6月20日
专知会员服务
21+阅读 · 2021年6月8日
专知会员服务
28+阅读 · 2021年6月3日
专知会员服务
77+阅读 · 2021年5月10日
专知会员服务
16+阅读 · 2021年5月4日
【AAAI2021】基于双任务一致性的半监督医学图像分割
专知会员服务
24+阅读 · 2021年2月7日
相关资讯
基于深度学习的医学图像半监督分割
CVer
12+阅读 · 2020年9月24日
基于深度迁移学习进行时间序列分类
PaperWeekly
14+阅读 · 2018年11月15日
keras系列︱深度学习五款常用的已训练模型
数据挖掘入门与实战
10+阅读 · 2018年3月27日
理解卷积神经网络的利器:9篇重要的深度学习论文
机器学习研究会
9+阅读 · 2018年3月20日
八大深度学习最佳实践
AI100
4+阅读 · 2018年1月31日
深度学习时代的推荐系统
大数据技术
7+阅读 · 2018年1月6日
微信扫码咨询专知VIP会员