【CVPR2022】OakInk:理解手-物体交互的大规模知识库

OakInk: A Large-scale Knowledge Repository for Understanding Hand-Object Interaction 作者：杨理欣，李恺林，詹欣宇， 吴非， 徐安然， 刘浏， 卢策吾

代码地址：https://oakink.net

工作简介：学习人类如何操作物体需要机器从理解物体的功能性和基于功能性学习人类的交互/操作行为两个角度获取知识。这两个知识至关重要，但当前数据集通常缺乏对它们的全面认识。本文提出了一个全新的大型知识库 Oakink，旨在通过视觉信息对手物交互行为进行认知与理解。首先收集了1800个常见的家居物品并标注它们的功能性，构成了第一个知识库：Oak (Object Affordance Knowledge)。基于物体的功能性，团队在Oak 中的100个物体上，记录了人类与其的交互行为。另外，团队提出一种新的映射算法Tink，将这100 个物体上的交互映射到它们的虚拟对象上。这些被采集的和被映射的手物交互样本构成第二个知识库：Ink (Interaction Knowledge)。统计下来，OakInk 包含 50,000 个手物交互案例。团队还给OakInk提出了两个应用场景：“基于意图的交互生成”和“人与人的双手交递生成”。