会员服务
近年来，预训练模型（例如ELMo、GPT、BERT和XLNet等）的快速发展大幅提升了诸多NLP任务的整体水平，同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型，它的特点包括：第一，可以使用大规模无标注纯文本语料进行训练；第二，可以用于各类下游NLP任务，不是针对某项定制的，但以后可用在下游NIP任务上，你不需要为下游任务专门设计一种神经网络，或者提供一种结构，直接在几种给定的固定框架中选择一种进行 fine-tune，就可以从而得到很好的结果。
【CMU博士论文】在大规模预训练时代理解科学数据中的归纳偏置
【CMU博士论文】在大规模预训练时代理解科学数据中的归纳偏置
专知会员服务
12+阅读 · 9月21日
PLM 与 LLM 时代的长文档检索综述
PLM 与 LLM 时代的长文档检索综述
专知会员服务
15+阅读 · 9月21日
【HKUST博士论文】增强大型语言模型的可信度：隐私与安全的视角
【HKUST博士论文】增强大型语言模型的可信度：隐私与安全的视角
专知会员服务
15+阅读 · 1月28日
基于符号和参数化知识库的推理：综述
基于符号和参数化知识库的推理：综述
专知会员服务
32+阅读 · 1月4日
《多模态持续预训练实用指南》，52页pdf
《多模态持续预训练实用指南》，52页pdf
专知会员服务
22+阅读 · 2024年9月3日
【KDD2024】预训练语言模型适应设备上用户意图预测的群体到个体调优框架
【KDD2024】预训练语言模型适应设备上用户意图预测的群体到个体调优框架
专知会员服务
12+阅读 · 2024年8月20日
融合知识图谱的预训练模型研究综述
融合知识图谱的预训练模型研究综述
专知会员服务
48+阅读 · 2024年3月31日
【博士论文】神经语言模型的参数效率，199页pdf
【博士论文】神经语言模型的参数效率，199页pdf
专知会员服务
32+阅读 · 2024年3月13日
《图语言模型》最新教程，WSDM2024桥接文本数据和图形数据:走向语义和结构感知的知识发现
《图语言模型》最新教程，WSDM2024桥接文本数据和图形数据:走向语义和结构感知的知识发现
专知会员服务
33+阅读 · 2024年3月4日
参数高效微调方法有哪些？岭大等最新《预训练语言模型的参数高效微调》综述，
参数高效微调方法有哪些？岭大等最新《预训练语言模型的参数高效微调》综述，
专知会员服务
70+阅读 · 2023年12月21日
大模型如何重塑对话系统？港中文等最新《基于语言模型的对话系统演化》综述
大模型如何重塑对话系统？港中文等最新《基于语言模型的对话系统演化》综述
专知会员服务
55+阅读 · 2023年12月2日
【CMU博士论文】利用文本语义学为知识图谱的获取和应用，105页pdf
【CMU博士论文】利用文本语义学为知识图谱的获取和应用，105页pdf
专知会员服务
36+阅读 · 2023年10月12日
可控文本生成怎么做？北理工等最新《基于Transformer的预训练语言模型可控文本生成》研究综述，37页pdf
可控文本生成怎么做？北理工等最新《基于Transformer的预训练语言模型可控文本生成》研究综述，37页pdf
专知会员服务
44+阅读 · 2023年9月24日
【慕尼黑大学博士论文】基于预训练语言模型的高效迁移学习，145页pdf
【慕尼黑大学博士论文】基于预训练语言模型的高效迁移学习，145页pdf
专知会员服务
35+阅读 · 2023年9月15日
[ACL2023]领域适配器混合：将领域知识解耦并注入到预训练语言模型的记忆中
[ACL2023]领域适配器混合：将领域知识解耦并注入到预训练语言模型的记忆中
专知会员服务
33+阅读 · 2023年6月11日
参考链接
父主题
自然语言处理
子主题
BERT
NBoost
ELMo
XLNet（广义自回归预训练方法）
Transformer
微信扫码咨询专知VIP会员
Top