【浙大-WWW2022】OntoPrompt & KnowPrompt：知识提示的预训练微调

最近一年以来蓬勃发展的自然语言处理新范式“提示学习”(Prompt Learning)，通过构造提示模板和标签映射，显著提升了模型的少样本、跨领域、多任务等能力。在提示学习中，如何针对具体任务，构建出最合适的模板提示和标签映射组合，是提升任务性能的关键。因此，通过植入相关的任务和领域知识来构建提示模板，以“知识提示”指导预训练语言模型，可以提升模型对任务和领域的感知，充分的激发预训练语言模型的潜力，提升任务性能。本文梳理了有关“知识提示”的学习方法，并介绍了被TheWebConf(WWW)2022录用的两个新工作：OntoPrompt和KnowPrompt。其中, KnowPrompt在提示学习框架中引入实体关系约束，将知识图谱中的实体关系植入到提示学习中；OntoPrompt则实现了将本体知识（Ontology）选择性植入提示学习中来解决少样本学习问题。