VALSE 论文速览第48期：面向第一视角动作识别的交互式原型学习

2022 年 2 月 9 日 VALSE

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自浙江大学等机构的第一视角动作识别的工作。该工作由杨易教授指导，论文第一作者汪晓晗同学录制。

论文题目：Interactive Prototype Learning for Egocentric Action Recognition

作者列表：汪晓晗 (浙江大学)，朱霖潮 (悉尼科技大学)，王恒 (Facebook AI)，杨易 (浙江大学)

B站观看网址：

https://www.bilibili.com/video/BV1J34y117tX/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

第一视角视频识别是非常具有挑战的任务，其需要识别人物的动作及与人物交互的物体。由于复杂的视频背景、频繁的摄像机视角变化、严重的遮挡等问题，识别交互物体特别困难。为了改进交互物体的分类，大多数现有方法使用物体检测器或人类注视点信息，但这些方法的计算成本很高或需要大量手工注释。为了避免这些额外的成本，我们提出了一个端到端的交互式原型学习 (IPL) 框架，IPL利用来自人物的动作线索来学习更好的交互对象表征。首先，我们引入了一组动词原型将交互物体特征与其他物体特征分解。每个原型对应于第一视角动作的主要运动模式，为交互物体特征学习提供了独特的监督信号。其次，我们设计了两个交互操作来提取交互物体特征，即名词到动词的分配操作和动词到名词的选择操作。这些操作是高效的并且可以在3D卷积网络之上学习丰富的位置特征。我们展示了 IPL 框架可以泛化到不同的主干网络上，在三个大规模第一视角视频数据集 (即 EPIC-KITCHENS-55、EPIC-KITCHENS-100 和 EGTEA)上，IPL的性能优于最新方法。

论文信息：

[1] Wang, Xiaohan, Linchao Zhu, Heng Wang, and Yi Yang. "Interactive Prototype Learning for Egocentric Action Recognition." In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 8168-8177. 2021.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/papers/Wang_Interactive_Prototype_Learning_for_Egocentric_Action_Recognition_ICCV_2021_paper.pdf]

视频讲者简介：

汪晓晗，浙江大学博士后。他分别于中国科学技术大学和悉尼科技大学获得本科和博士学位，并于2019-2021年在百度研究院进行访问研究。他的研究兴趣为多模态视频理解，第一视角视频分析，在TPAMI、CVPR、ICCV、AAAI等人工智能顶级会议和期刊发表多篇论文。曾获得CVPR2019，CVPR2020连续两届第一视角动作识别挑战赛冠军和CVPR2021 AICity文本车辆检索竞赛冠军。