论文浅尝 | 知识图谱增强的机器翻译

2022 年 9 月 30 日 开放知识图谱

笔记整理:张嘉芮,天津大学硕士

链接:https://www.ijcai.org/Proceedings/2020/0559.pdf

动机

在机器翻译中,实体的正确翻译对于译文质量有着至关重要的作用。知识图(KG)在各种实体上存储了大量结构化信息,其中许多实体不在神经机器翻译(NMT)的双语句子对中,导致实体的错翻率较高,因此本文关注神经机器翻译中的实体翻译。

亮点

本文的亮点主要包括:

(1)提出了一种将非并行KG合并到NMT模型中的方法。

(2)设计了一种新的方法来归纳K-D实体使用KG生成的翻译结果,生成伪并行句子对,并促进NMT更好地预测K−D实体。

模型

问题定义:

本文所利用的数据资源包括以下三个:

1.双语句子对:D={(X,Y)},其中X是源语言,Y是目标语言。

2.源语言知识图谱:   ,其中   为源端头实体,   为源端尾实体,   为它们之间的关系。

3.目标语言知识图谱:   ,其中   为目标端头实体,    为目标端尾实体,   为它们之间的关系。

注:   和   并不是互相平行的。本文的目的是提升K-D实体的翻译质量,其中K-D实体的定义为:

其中   和   分别为源端K-D和目标端K-D。

框架:

模型整体框架如下:

本文所提方法包括三个步骤:

1.双语K-D实体推断

①将源语言知识图谱   和目标语言知识图谱   利用知识表示学习(例如TransE和TransH等),将源端实体和目标端实体分别表示为向量   和   。

②利用双语句对,首先提取出短语翻译对,利用上述段语言翻译对作为种子实体翻译对。

③利用种子实体翻译对为锚点,将   和   映射到同一语义空间。

④根据语义距离,预测出K-D实体的译文。

2.伪双语数据构造

推断实体对和种子实体对之间的语义距离: 
如果它们之间的距离小于预定义的阈值λ,就将种子词的上下文迁移至推断实体对的上下文,进而生成伪双语数据。

3.联合训

将原始双语数据和伪双语数据进行联合训练,学习神经机器翻译的参数,损失函数为: 

实验

1.总体结果

本文所提方法在中英(医疗领域、旅游领域和通用领域)和英日翻译任务上均有一定BLEU值的提升。

2.超参数分析

在算法1中,本文设置了一个预定义的超参数δ来确定双语对。表中显示了不同δ(医学KG)的BLEU分数。可以看到,当δ=0.45时,BLEU分数最大。当δ超过0.45时,BLEU分数(dev)从15.96降至14.94。同时结果表明:需要在K −D实体对的数量之间取得平衡,并不是越多越好。

3.K-D实体的分析

给出了不包含(Sent w/o K-D)和包含K-D(Sent w K-D)实体句子的BLEU值,从表中可以看出,所提方法对于包含K-D(Sent w K-D)实体句子有着明显的提升。

总结

为了解决NMT中的K-D实体,本文提出了一种知识图谱增强的NMT方法。本文设计了一种新的方法来归纳K-D实体使用KG生成的翻译结果,生成伪并行句子对,最后联合训练NMT模型。在汉英翻译和英日翻译任务上的大量实验表明,本文方法在翻译质量上明显优于基线模型,尤其是在处理K−D实体上。




 

OpenKG


OpenKG(中文开放知识图谱)旨在推动以中文为核心的知识图谱数据的开放、互联及众包,并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文,进入 OpenKG 网站。

登录查看更多
3

相关内容

实体(entity)是有可区别性且独立存在的某种事物,但它不需要是物质上的存在。尤其是抽象和法律拟制也通常被视为实体。实体可被看成是一包含有子集的集合。在哲学里,这种集合被称为客体。实体可被使用来指涉某个可能是人、动物、植物或真菌等不会思考的生命、无生命物体或信念等的事物。在这一方面,实体可以被视为一全包的词语。有时,实体被当做本质的广义,不论即指的是否为物质上的存在,如时常会指涉到的无物质形式的实体-语言。更有甚者,实体有时亦指存在或本质本身。在法律上,实体是指能具有权利和义务的事物。这通常是指法人,但也包括自然人。
EMNLP 2021 | 学习改写非自回归机器翻译的翻译结果
专知会员服务
14+阅读 · 2021年12月25日
专知会员服务
38+阅读 · 2021年6月6日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
42+阅读 · 2020年11月22日
【ICML2020-西电】用于语言生成的递归层次主题引导RNN
专知会员服务
21+阅读 · 2020年6月30日
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
133+阅读 · 2020年2月13日
论文浅尝 | C3KG:中文常识对话知识图谱
开放知识图谱
2+阅读 · 2022年8月18日
论文浅尝 | Seq2Seq 知识图谱补全与问答
开放知识图谱
5+阅读 · 2022年4月25日
论文浅尝 | KGNLI: 知识图谱增强的自然语言推理模型
开放知识图谱
0+阅读 · 2022年1月28日
论文浅尝 | 利用问题生成提升知识图谱问答
开放知识图谱
20+阅读 · 2019年11月5日
论文浅尝 | 基于复杂查询图编码的知识库问答
开放知识图谱
17+阅读 · 2019年7月22日
论文浅尝 | 5 篇顶会论文带你了解知识图谱最新研究进展
论文浅尝 | 基于知识库的自然语言理解 04#
开放知识图谱
14+阅读 · 2019年3月14日
论文浅尝 | 知识图谱相关实体搜索
开放知识图谱
14+阅读 · 2018年12月18日
论文浅尝 | 用图网络做小样本学习
开放知识图谱
66+阅读 · 2018年6月30日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2008年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Arxiv
15+阅读 · 2019年9月11日
Arxiv
12+阅读 · 2019年2月26日
VIP会员
相关VIP内容
EMNLP 2021 | 学习改写非自回归机器翻译的翻译结果
专知会员服务
14+阅读 · 2021年12月25日
专知会员服务
38+阅读 · 2021年6月6日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
42+阅读 · 2020年11月22日
【ICML2020-西电】用于语言生成的递归层次主题引导RNN
专知会员服务
21+阅读 · 2020年6月30日
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
133+阅读 · 2020年2月13日
相关资讯
论文浅尝 | C3KG:中文常识对话知识图谱
开放知识图谱
2+阅读 · 2022年8月18日
论文浅尝 | Seq2Seq 知识图谱补全与问答
开放知识图谱
5+阅读 · 2022年4月25日
论文浅尝 | KGNLI: 知识图谱增强的自然语言推理模型
开放知识图谱
0+阅读 · 2022年1月28日
论文浅尝 | 利用问题生成提升知识图谱问答
开放知识图谱
20+阅读 · 2019年11月5日
论文浅尝 | 基于复杂查询图编码的知识库问答
开放知识图谱
17+阅读 · 2019年7月22日
论文浅尝 | 5 篇顶会论文带你了解知识图谱最新研究进展
论文浅尝 | 基于知识库的自然语言理解 04#
开放知识图谱
14+阅读 · 2019年3月14日
论文浅尝 | 知识图谱相关实体搜索
开放知识图谱
14+阅读 · 2018年12月18日
论文浅尝 | 用图网络做小样本学习
开放知识图谱
66+阅读 · 2018年6月30日
相关基金
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2008年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员