Transfer learning has revolutionized computer vision, but existing approaches in NLP still require task-specific modifications and training from scratch. We propose Fine-tuned Language Models (FitLaM), an effective transfer learning method that can be applied to any task in NLP, and introduce techniques that are key for fine-tuning a state-of-the-art language model. Our method significantly outperforms the state-of-the-art on five text classification tasks, reducing the error by 18-24% on the majority of datasets. We open-source our pretrained models and code to enable adoption by the community.


翻译:转移学习使计算机的视野发生了革命性的变化,但国家语言方案的现有方法仍需要从头开始根据具体任务进行修改和培训。 我们提出了精调语言模式(FitLaM),这是一个有效的转移学习方法,可以适用于国家语言方案的任何任务,并引入了对微调最先进的语言模式至关重要的技术。 我们的方法大大优于五个文本分类任务的最新水平,将大多数数据集的错误减少18-24%。 我们开发了我们经过培训的模型和代码,以使社区能够采纳。

5
下载
关闭预览

相关内容

零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Arxiv
13+阅读 · 2020年4月12日
Arxiv
7+阅读 · 2020年3月1日
Arxiv
5+阅读 · 2019年8月22日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Arxiv
31+阅读 · 2018年11月13日
VIP会员
相关VIP内容
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
相关论文
Arxiv
13+阅读 · 2020年4月12日
Arxiv
7+阅读 · 2020年3月1日
Arxiv
5+阅读 · 2019年8月22日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Arxiv
31+阅读 · 2018年11月13日
Top
微信扫码咨询专知VIP会员