华盛顿大学Yejin Choi「常识知识图谱在计算机视觉中的应用」附86页PPT及论文下载

【简介】知识图谱是一种组织知识并提供智能应用有效的方式。常识知识图谱如何在计算机视觉中发挥作用，从识别跨越到认知？华盛顿大学Yejin Choi博士一直研究视觉常识推理的研究，让我们来学习如何用常识图谱在CV建模提升认知。

地址链接：

https://mosaic.allenai.org/projects/commonsense-knowledge-graphs

https://cs.stanford.edu/people/ranjaykrishna/sgrl/index.html

Yejin Choi是华盛顿大学Paul G. Allen计算机科学与工程学院副教授，语言学系副教授，统计与社会科学中心副研究员。她也是艾伦人工智能研究所的高级研究经理。她是2013年ICCV的Marr奖(最佳论文奖)的共同接受者，2018年Borg Early Career award (BECA)的接受者，并被提名为2016年IEEE AI的10大看点之一。她在康奈尔大学获得了计算机科学博士学位(导师:Claire Cardie教授)，并在韩国首尔国立大学获得了计算机科学与工程学士学位。

什么是常识？

基本的实用知识和推理能力
关注日常情况和事件
这是大多数人都普遍持有的观点。

我们能从识别过渡到认知吗？

ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning

知识图谱为常识性概念的表示提供了一种半结构化的方法。这种结构所提供的视角不同于其他知识来源，比如大规模的文本语料库；然而，要表示何种类型的知识和如何更好的把他们融合到现有的神经网络模型中依旧是一个有待研究的课题。ATOMIC主要关注由if-then这种类型的关系所组成的变量之间的知识推理。作者提出了九种if-then形式的关系类型来区分原因VS结果，代理VS主题，自愿事件VS非自愿事件，行为VS精神状态。基于ATOMIC所描述的丰富的知识推理所生成的训练集，作者证明了神经网络模型可以拥有基本的常识，并对以前未见过的事件进行推理。

通过对给定的事件进行观察，人们可以很容易的预测或者推断一些未观察到的事件的发生原因和结果：之前什么时候发生的？接下来的结果会是什么？不同的事件是如何通过因果联系在一起的？如上图，如果我们观察到事件“”X击退了Y的攻击“，我们可以立刻推断出围绕这件事情的各种可信的事实。

上面的例子说明了日常生活中常识推理是如何通过一系列紧密相连的推理知识所实现的。通过这些推理知识，我们可以看一部两个小时的电影，理解一个跨越几个月的故事，也就是说我们只观察到了其中的一小部分，就对大量的事件、原因和结果进行推理。然而，这种能力虽然对人类来说很普通，但现在的人工智能系统却远远没有达到这种程度。这在一定程度上是因为绝大多数人工智能系统都是针对特定任务的数据集和目标进行训练，从而导致模型能够有效地找到特定任务之间的相关性，但这种推理缺乏可解释性。因此，作者提出了ATOMIC: 一种机器推理的图谱，用来处理丰富的知识推理，这对于自动进行常识推理至关重要。

COMeT: Commonsense Transformers for Automatic Knowledge Graph Construction