会员服务
近年来，预训练模型（例如ELMo、GPT、BERT和XLNet等）的快速发展大幅提升了诸多NLP任务的整体水平，同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型，它的特点包括：第一，可以使用大规模无标注纯文本语料进行训练；第二，可以用于各类下游NLP任务，不是针对某项定制的，但以后可用在下游NIP任务上，你不需要为下游任务专门设计一种神经网络，或者提供一种结构，直接在几种给定的固定框架中选择一种进行 fine-tune，就可以从而得到很好的结果。
PLM是做题家吗？一文速览预训练语言模型数学推理能力新进展
PLM是做题家吗？一文速览预训练语言模型数学推理能力新进展
PaperWeekly
1+阅读 · 2022年11月28日
「知识增强预训练语言模型」最新研究综述
「知识增强预训练语言模型」最新研究综述
专知
17+阅读 · 2022年11月18日
EMNLP 2022 | 稠密检索新突破：华为提出掩码自编码预训练模型
EMNLP 2022 | 稠密检索新突破：华为提出掩码自编码预训练模型
PaperWeekly
1+阅读 · 2022年11月14日
稠密检索新突破：华为提出掩码自编码预训练模型，大幅刷新多项基准
稠密检索新突破：华为提出掩码自编码预训练模型，大幅刷新多项基准
机器之心
1+阅读 · 2022年11月11日
杭州/北京内推 | 阿里达摩院AliceMind语言模型团队招聘算法实习生
杭州/北京内推 | 阿里达摩院AliceMind语言模型团队招聘算法实习生
PaperWeekly
0+阅读 · 2022年10月31日
IDEA研究院原作团队解读封神榜体系：致力于成为中文认知智能的基础设施
IDEA研究院原作团队解读封神榜体系：致力于成为中文认知智能的基础设施
机器之心
0+阅读 · 2022年9月10日
直播预告 | NAACL专场分享会
直播预告 | NAACL专场分享会
THU数据派
1+阅读 · 2022年8月8日
机器学习大牛李航细说语言模型的前世今生：从马尔可夫链到GPT
机器学习大牛李航细说语言模型的前世今生：从马尔可夫链到GPT
专知
0+阅读 · 2022年7月24日
从马尔可夫链到GPT，字节跳动AI Lab总监李航细说语言模型的前世今生
从马尔可夫链到GPT，字节跳动AI Lab总监李航细说语言模型的前世今生
机器之心
4+阅读 · 2022年7月23日
ACL 2022 | 基于Prompt的自动去偏：有效减轻预训练语言模型中的偏见
ACL 2022 | 基于Prompt的自动去偏：有效减轻预训练语言模型中的偏见
PaperWeekly
0+阅读 · 2022年7月14日
赛尔笔记 | 逻辑推理阅读理解任务及方法
赛尔笔记 | 逻辑推理阅读理解任务及方法
哈工大SCIR
1+阅读 · 2022年6月7日
【报名】TF53：预训练时代的大规模知识表示与推理实践
【报名】TF53：预训练时代的大规模知识表示与推理实践
中国计算机学会
0+阅读 · 2022年4月18日
别再无脑wwm了！在下游任务中不一定有效！
别再无脑wwm了！在下游任务中不一定有效！
大数据文摘
0+阅读 · 2022年4月14日
预训练再次跨界！百度提出ERNIE-GeoL，地理位置-语言联合预训练！
预训练再次跨界！百度提出ERNIE-GeoL，地理位置-语言联合预训练！
夕小瑶的卖萌屋
0+阅读 · 2022年4月13日
别再无脑wwm了！在下游任务中不一定有效！
别再无脑wwm了！在下游任务中不一定有效！
夕小瑶的卖萌屋
1+阅读 · 2022年4月7日
参考链接
父主题
自然语言处理
子主题
BERT
NBoost
ELMo
XLNet（广义自回归预训练方法）
Transformer
微信扫码咨询专知VIP会员
Top