会员服务
近年来，预训练模型（例如ELMo、GPT、BERT和XLNet等）的快速发展大幅提升了诸多NLP任务的整体水平，同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型，它的特点包括：第一，可以使用大规模无标注纯文本语料进行训练；第二，可以用于各类下游NLP任务，不是针对某项定制的，但以后可用在下游NIP任务上，你不需要为下游任务专门设计一种神经网络，或者提供一种结构，直接在几种给定的固定框架中选择一种进行 fine-tune，就可以从而得到很好的结果。
《多模态持续预训练实用指南》，52页pdf
《多模态持续预训练实用指南》，52页pdf
专知会员服务
20+阅读 · 9月3日
【KDD2024】预训练语言模型适应设备上用户意图预测的群体到个体调优框架
【KDD2024】预训练语言模型适应设备上用户意图预测的群体到个体调优框架
专知会员服务
10+阅读 · 8月20日
融合知识图谱的预训练模型研究综述
融合知识图谱的预训练模型研究综述
专知会员服务
45+阅读 · 3月31日
【博士论文】神经语言模型的参数效率，199页pdf
【博士论文】神经语言模型的参数效率，199页pdf
专知会员服务
31+阅读 · 3月13日
《图语言模型》最新教程，WSDM2024桥接文本数据和图形数据:走向语义和结构感知的知识发现
《图语言模型》最新教程，WSDM2024桥接文本数据和图形数据:走向语义和结构感知的知识发现
专知会员服务
30+阅读 · 3月4日
参数高效微调方法有哪些？岭大等最新《预训练语言模型的参数高效微调》综述，
参数高效微调方法有哪些？岭大等最新《预训练语言模型的参数高效微调》综述，
专知会员服务
64+阅读 · 2023年12月21日
大模型如何重塑对话系统？港中文等最新《基于语言模型的对话系统演化》综述
大模型如何重塑对话系统？港中文等最新《基于语言模型的对话系统演化》综述
专知会员服务
54+阅读 · 2023年12月2日
【CMU博士论文】利用文本语义学为知识图谱的获取和应用，105页pdf
【CMU博士论文】利用文本语义学为知识图谱的获取和应用，105页pdf
专知会员服务
35+阅读 · 2023年10月12日
可控文本生成怎么做？北理工等最新《基于Transformer的预训练语言模型可控文本生成》研究综述，37页pdf
可控文本生成怎么做？北理工等最新《基于Transformer的预训练语言模型可控文本生成》研究综述，37页pdf
专知会员服务
43+阅读 · 2023年9月24日
【慕尼黑大学博士论文】基于预训练语言模型的高效迁移学习，145页pdf
【慕尼黑大学博士论文】基于预训练语言模型的高效迁移学习，145页pdf
专知会员服务
34+阅读 · 2023年9月15日
[ACL2023]领域适配器混合：将领域知识解耦并注入到预训练语言模型的记忆中
[ACL2023]领域适配器混合：将领域知识解耦并注入到预训练语言模型的记忆中
专知会员服务
30+阅读 · 2023年6月11日
大模型如何做知识图谱补全？【ACL2023】基于预训练语言模型的文本增强开放知识图谱补全
大模型如何做知识图谱补全？【ACL2023】基于预训练语言模型的文本增强开放知识图谱补全
专知会员服务
69+阅读 · 2023年5月27日
【WWW2023教程】将网络规模的文本转化为知识:将预训练表示转化为文本挖掘应用
【WWW2023教程】将网络规模的文本转化为知识:将预训练表示转化为文本挖掘应用
专知会员服务
28+阅读 · 2023年5月17日
知识图谱如何融合大模型？【斯坦福博士论文】利用结构化数据实现鲁棒和自适应的自然语言表示，141页pdf
知识图谱如何融合大模型？【斯坦福博士论文】利用结构化数据实现鲁棒和自适应的自然语言表示，141页pdf
专知会员服务
88+阅读 · 2023年4月3日
重磅！哈工大最新94页《ChatGPT调研报告》，详述ChatGPT技术原理与应用场景
重磅！哈工大最新94页《ChatGPT调研报告》，详述ChatGPT技术原理与应用场景
专知会员服务
912+阅读 · 2023年3月12日
参考链接
父主题
自然语言处理
子主题
BERT
NBoost
ELMo
XLNet（广义自回归预训练方法）
Transformer
微信扫码咨询专知VIP会员
Top