会员服务
近年来，预训练模型（例如ELMo、GPT、BERT和XLNet等）的快速发展大幅提升了诸多NLP任务的整体水平，同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型，它的特点包括：第一，可以使用大规模无标注纯文本语料进行训练；第二，可以用于各类下游NLP任务，不是针对某项定制的，但以后可用在下游NIP任务上，你不需要为下游任务专门设计一种神经网络，或者提供一种结构，直接在几种给定的固定框架中选择一种进行 fine-tune，就可以从而得到很好的结果。
Huatuo-26M, a Large-scale Chinese Medical QA Dataset
Arxiv
1+阅读 · 2023年5月2日
FreeLM: Fine-Tuning-Free Language Model
Arxiv
0+阅读 · 2023年5月2日
How does GPT-2 compute greater-than?: Interpreting mathematical abilities in a pre-trained language model
Arxiv
0+阅读 · 2023年4月30日
A Survey on Biomedical Text Summarization with Pre-trained Language Model
Arxiv
0+阅读 · 2023年4月18日
Revisiting k-NN for Pre-trained Language Models
Arxiv
1+阅读 · 2023年4月18日
Evaluation of Social Biases in Recent Large Pre-Trained Models
Arxiv
0+阅读 · 2023年4月13日
G2T: A Simple but Effective Framework for Topic Modeling based on Pretrained Language Model and Community Detection
Arxiv
0+阅读 · 2023年4月14日
G2T: A simple but versatile framework for topic modeling based on pretrained language model and community detection
G2T: A simple but versatile framework for topic modeling based on pretrained language model and community detection
Arxiv
0+阅读 · 2023年4月13日
Measuring Gender Bias in West Slavic Language Models
Arxiv
0+阅读 · 2023年4月13日
Measuring Gender Bias in West Slavic Language Models
Arxiv
0+阅读 · 2023年4月12日
Continual Pre-training of Language Models
Arxiv
0+阅读 · 2023年4月12日
A Survey of Large Language Models
A Survey of Large Language Models
Arxiv
7+阅读 · 2023年4月12日
Towards preserving word order importance through Forced Invalidation
Arxiv
0+阅读 · 2023年4月11日
Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture
Arxiv
0+阅读 · 2023年4月11日
Counteracts: Testing Stereotypical Representation in Pre-trained Language Models
Arxiv
0+阅读 · 2023年4月7日
参考链接
父主题
自然语言处理
子主题
BERT
NBoost
ELMo
XLNet（广义自回归预训练方法）
Transformer
微信扫码咨询专知VIP会员
Top