【论文推荐】多模态知识图谱上的端到端实体分类，End-to-End Entity Classification on Multimodal Knowledge Graphs

题目： End-to-End Entity Classification on Multimodal Knowledge Graphs

简介：

知识图的端到端多模式学习在很大程度上尚未解决。取而代之的是，大多数端到端模型（例如消息传递网络）仅从图形结构中编码的关系信息中学习：原始值或文字要么被完全省略，要么从其值中剥离而被视为常规节点。无论哪种情况，我们都会丢失潜在的相关信息，而这些信息本来可以被我们的学习方法所利用。为避免这种情况，我们必须将文字和非文字视为单独的情况。我们还必须分别并相应地处理每种形式：数字，文本，图像，几何形状等等。我们提出了一种多模态消息传递网络，该网络不仅可以从图的结构中端到端学习，而且可以从它们的多模态节点特征集合中学习。我们的模型使用专用的（神经）编码器来自然学习节点特征的嵌入，这些节点特征属于五种不同类型的模态，包括图像和几何图形，这些图像连同其关系信息被投影到联合表示空间中。我们在节点分类任务上演示我们的模型，并评估每种模式对整体性能的影响。我们的结果支持我们的假设，即包含来自多种模式的信息可以帮助我们的模型获得更好的整体性能。