【CVPR2022】OakInk:理解手-物体交互的大规模知识库

OakInk: A Large-scale Knowledge Repository for Understanding Hand-Object Interaction

作者：杨理欣，李恺林，詹欣宇， 吴非， 徐安然， 刘浏， 卢策吾

代码地址：https://oakink.net

工作简介：学习人类如何操作物体需要机器从理解物体的功能性和基于功能性学习人类的交互/操作行为两个角度获取知识。这两个知识至关重要，但当前数据集通常缺乏对它们的全面认识。本文提出了一个全新的大型知识库 Oakink，旨在通过视觉信息对手物交互行为进行认知与理解。首先收集了1800个常见的家居物品并标注它们的功能性，构成了第一个知识库：Oak (Object Affordance Knowledge)。基于物体的功能性，团队在Oak 中的100个物体上，记录了人类与其的交互行为。另外，团队提出一种新的映射算法Tink，将这100 个物体上的交互映射到它们的虚拟对象上。这些被采集的和被映射的手物交互样本构成第二个知识库：Ink (Interaction Knowledge)。统计下来，OakInk 包含 50,000 个手物交互案例。团队还给OakInk提出了两个应用场景：“基于意图的交互生成”和“人与人的双手交递生成”。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“OINK” 就可以获取《【CVPR2022】OakInk:理解手-物体交互的大规模知识库》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资料