【AAAI2021】从历史中学习：利用时间感知拷贝生成网络建模时态知识图谱

动机 大型知识图通常会增长以存储时态事实，这些时间事实对实体沿时间线的动态关系或交互进行建模。因为这样的时态知识图经常遭受不完全性的困扰，所以开发有助于推断缺失的时态事实的时间感知表示学习模型是很重要的。虽然时间事实通常是不断演变的，但据观察，许多事实往往沿着时间线呈现出重复的模式，例如经济危机和外交活动。这一观察表明，一个模型可能从历史上出现的已知事实中学到很多东西。为此，作者基于一种新颖的时间感知拷贝生成机制，提出了一种新的时态知识图表示学习模型——CyGNet。CyGNet不仅能够从整个实体词汇中预测未来的事实，而且能够通过重复识别事实，并相应地参考过去已知的事实来预测未来的事实。实验使用五个基准数据集在知识图完成任务上评估了所提出的方法。大量的实验证明了CyGNet预测未来重复事实和从头预测事实的有效性。

亮点 CyGNet的亮点主要包括：

（1）研究重复的时间事实的潜在现象，并建议在TKGs(temporal knowledge graphs,时态知识图谱)中学习推断未来事实时参考历史上已知的事实；

（2）作者通过时间感知复制生成机制提出了一个新的TKG嵌入模型CyGNet，它结合了两种推理模式，基于历史词汇或整个实体词汇进行预测，因此更符合前面提到的TKG事实的演化模式。

概念及模型 CyGNet模型主要结合了两种推理模式，即复制模式和生成模式，前者试图从特定的历史词汇中选择实体，形成历史中的重复事实，而后者从整个实体词汇中预测实体。模型整体框架如下：