对于自然语言理解任务来说,外部知识通常是有用的。我们介绍了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化的知识合并到文本表示中。与实体嵌入方法不同,我们的方法将知识图编码到上下文模型中。就像预先训练好的语言模型一样,CC嵌入可以很容易地在广泛的任务中重用。我们的模型利用语义泛化,有效地编码了庞大的UMLS数据库。在电子健康记录(EHRs)和医疗文本处理基准上的实验表明,我们的模型大大提高了监督医疗NLP任务的性能。
https://www.zhuanzhi.ai/paper/88d3b2de72557d77804691f6431d9d33
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“CCE” 就可以获取《【AAAI2020-清华-百度】学习医学文本的概念-上下文嵌入,Conceptual-Contextual Embeddings》论文专知下载链接