有效地从很少到没有数据中学习的能力对于将NLP应用于数据收集成本高或其他困难的任务至关重要。这在学术和实践上都是一个具有挑战性的设置——特别是因为训练中模型通常需要大量标记数据。最近,对未标记数据进行预训练的进展,带来了更好的零样本或少样本学习的潜力(Devlin et al., 2019; Brown et al., 2020)。特别是在过去的一年里,人们进行了大量的研究,利用大规模语言模型更好地从有限的数据中学习。在本教程中,我们的目标是让感兴趣的NLP研究人员了解最新的和正在进行的使用预训练的语言模型进行零样本和少样本学习的技术。此外,我们的目标是向观众揭示新的研究机会,这将有望使我们更接近解决该领域现有的挑战。

https://github.com/allenai/acl2022-zerofewshot-tutorial

成为VIP会员查看完整内容
51

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【SIGIR2021】自然语言处理图深度学习,230页ppt
专知会员服务
93+阅读 · 2021年7月23日
【AAAI2021】预训练语言模型最新进展,附113页ppt和视频
专知会员服务
64+阅读 · 2021年2月23日
最新《域自适应视觉应用》ECCV2020教程,67页PPT
专知会员服务
26+阅读 · 2020年12月24日
ICML2019《元学习》教程与必读论文列表
专知
41+阅读 · 2019年6月16日
自然语言处理(NLP)前沿进展报告(PPT下载)
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年7月8日
Arxiv
28+阅读 · 2021年10月1日
Arxiv
99+阅读 · 2020年3月4日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Arxiv
21+阅读 · 2019年3月25日
Arxiv
21+阅读 · 2018年8月30日
VIP会员
相关基金
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2022年7月8日
Arxiv
28+阅读 · 2021年10月1日
Arxiv
99+阅读 · 2020年3月4日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Arxiv
21+阅读 · 2019年3月25日
Arxiv
21+阅读 · 2018年8月30日
微信扫码咨询专知VIP会员