大规模文本语料库上的模型预训练已经被证明在NLP领域的各种下游应用中非常有效。在图挖掘领域,也可以类比预训练图模型在大规模图上,以期望从中获益于下游图应用,这也被一些最近的研究所探索。然而,现有的研究从未研究过在具有丰富文本信息的大型异构图(也就是大型图谱语料库)上预训练文本加图模型,然后在具有不同图模式的不同相关下游应用上对模型进行微调。为了解决这个问题,我们提出了一个在大型图谱语料库上进行图感知语言模型预训练(GaLM)的框架,该框架结合了大型语言模型和图神经网络,并在下游应用上提供了各种微调方法。我们在亚马逊的真实内部数据集和大型公共数据集上进行了广泛的实验。全面的实证结果和深入的分析证明了我们提出的方法的有效性,以及我们从中学到的经验。

成为VIP会员查看完整内容
29

相关内容

【CMU博士论文】神经推理问答,151页pdf
专知会员服务
42+阅读 · 2023年6月5日
【KDD2023】学习语言表示用于序列推荐
专知会员服务
9+阅读 · 2023年5月27日
「知识增强预训练语言模型」最新研究综述
专知会员服务
58+阅读 · 2022年11月18日
中科院自动化所徐波团队最新《视觉-语言预训练》综述
专知会员服务
65+阅读 · 2022年2月23日
最新《知识驱动的文本生成》综述论文,44页pdf
专知会员服务
74+阅读 · 2020年10月13日
「知识增强预训练语言模型」最新研究综述
专知
17+阅读 · 2022年11月18日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
干货 | 情感分析语料库
机器学习算法与Python学习
69+阅读 · 2017年7月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年7月25日
Arxiv
140+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
343+阅读 · 2023年3月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员