【清华大学 博士论文】大规模结构化知识的表示学习、自动获取与计算应用，林衍凯

论文题目:大规模结构化知识的 表示学习、自动获取与计算应用

论文作者：林衍凯，腾讯微信模式识别中心高级研究员。博士毕业于来自清华大学自然语言处理组， 由孙茂松教授和刘知远副教授共同指导，主要研究方向为知识图谱表示、构建和应用。目前已在人工智能、自然语言处理等领域的著名国际会议IJCAI，AAAI，EMNLP，ACL发表相关论文多篇，Google Scholar引用数超过1400。曾获2017年百度奖学金、2018年清华大学学术新秀。

指导老师：孙茂松，教授，博士生导师，曾任清华大学计算机科学与技术系系主任，现任教育部在线教育研究中心副主任、清华大学计算机系党委书记、清华大学大规模在线开放教育研究中心主任。

论文摘要：知识图谱是人工智能研究和智能信息服务基础核心技术，能够赋予智能体精 准查询、深度理解与逻辑推理等能力。目前，基于深度学习的自然语言处理技术只 能从数据中机械地学习完成特定任务的语义模式，不具备鲁棒性和可解释性，做 不到对语言的深层理解与推理。我们认为要想实现真正的自然语言理解，需要在 现有深度学习技术的基础上融合知识图谱信息。实现自然语言处理与知识图谱的 融合并非轻而易举，需要解决几个关键问题： （1）知识表示。在深度学习模型中充分利用大规模知识图谱，需要首先解决知 识图谱表示的问题。在这方面，我的工作包括：a. 考虑知识图谱复杂关系的知识 表示：我们提出了基于映射矩阵进行空间投影的知识图谱表示模型，用于处理知 识图谱中的复杂关系。b. 考虑知识图谱复杂路径的知识表示：我们认为实体之间 多步的关系路径同样包含着丰富的关系推理信息，并提出了一种基于路径表示的 知识图谱表示模型。c. 考虑知识图谱复杂属性的知识表示：我们提出了一种同时 学习知识图谱中实体、关系和特性表示的知识图谱表示模型，以提高知识图谱表 示的质量。 （2）知识获取。如何从互联网大规模的结构化、半结构和无结构数据中自动获 取知识，辅以少量人工校验，是大规模知识图谱构建的必由之路。在这方面，我的 工作包括：a. 基于选择注意力机制的关系抽取：针对远程监督数据中存在大量的 噪音的问题，我们提出了一个基于句子级别选择注意力机制的神经网络关系抽取 模型，用于过滤错误标注的句子。b. 基于多语言注意力机制的关系抽取：现有的 关系抽取系统通常专注于如何更好地利用单语言数据，忽略了多语言数据对于关 系抽取任务的帮助。针对这个问题，我们提出了一个基于多语言选择注意力机制 的关系抽取模型。 （3）知识应用。面向不同自然语言处理任务，我们需要探索将知识合理地融合 到该任务下的深度学习模型中，实现知识指导的自然语言理解。在这方面，我的 工作包括：a. 基于知识的实体分类：我们提出了基于知识注意力机制的实体分类 模型，用于考虑命名实体和上下文之间的联系以及知识图谱中丰富的有关信息。b. 基于知识的开放域问答：我们借鉴人类回答问题的模式提出了一个基于 ‘‘粗读-精 读-总结’’ 模式的开放域问答系统。 我们的工作有效地解决了面向知识图谱的知识表示、知识获取、知识应用中 的关键问题，为迈向真正的自然语言理解打下了坚实的基础。