Online action detection in untrimmed videos aims to identify an action as it happens, which makes it very important for real-time applications. Previous methods rely on tedious annotations of temporal action boundaries for training, which hinders the scalability of online action detection systems. We propose WOAD, a weakly supervised framework that can be trained using only video-class labels. WOAD contains two jointly-trained modules, i.e., temporal proposal generator (TPG) and online action recognizer (OAR). Supervised by video-class labels, TPG works offline and targets at accurately mining pseudo frame-level labels for OAR. With the supervisory signals from TPG, OAR learns to conduct action detection in an online fashion. Experimental results on THUMOS'14, ActivityNet1.2 and ActivityNet1.3 show that our weakly-supervised method largely outperforms weakly-supervised baselines and achieves comparable performance to the previous strongly-supervised methods. Beyond that, WOAD is flexible to leverage strong supervision when it is available. When strongly supervised, our method obtains the state-of-the-art results in the tasks of both online per-frame action recognition and online detection of action start.


翻译:在未剪辑的视频中,在线行动检测旨在确定所发生的行动,这对于实时应用来说非常重要。以前的方法依靠时间行动界限的枯燥说明来进行培训,这妨碍了在线行动检测系统的可扩展性。我们建议WOAD,这是一个仅使用视频类标签可以培训的、监管不力的框架。WOAD包含两个联合培训模块,即:时间建议生成器(TPG)和在线行动识别器(OAR)。在视频类标签的监督下,TPG在为 OAR 准确挖掘假框架级标签时运行离线目标。借助TPG的监督信号,OAR学会学会以在线方式进行行动检测。THUMOS'14、ActionNet1.2和ActionNet1.3的实验结果显示,我们微弱监督方法基本上超越了薄弱的监管基线,并实现了与先前的严格监督方法的可比性业绩。除此之外,WOAD在有严格监督的情况下,灵活地利用强大的监管。当受到监督时,当受到监督时,我们的方法开始在网上行动结果方面进行在线确认时,我们的方法开始在网上进行状态上的行动。

0
下载
关闭预览

相关内容

基于深度学习的表面缺陷检测方法综述
专知会员服务
85+阅读 · 2020年5月31日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
行为识别(action recognition)目前的难点在哪?
极市平台
36+阅读 · 2019年2月14日
基于弱监督的视频时序动作检测的介绍
极市平台
30+阅读 · 2019年2月6日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡一分钟】基于视频修复的时空转换网络
泡泡机器人SLAM
5+阅读 · 2018年12月30日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
Arxiv
0+阅读 · 2021年7月8日
Arxiv
12+阅读 · 2019年4月9日
Arxiv
4+阅读 · 2018年10月5日
VIP会员
相关资讯
行为识别(action recognition)目前的难点在哪?
极市平台
36+阅读 · 2019年2月14日
基于弱监督的视频时序动作检测的介绍
极市平台
30+阅读 · 2019年2月6日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡一分钟】基于视频修复的时空转换网络
泡泡机器人SLAM
5+阅读 · 2018年12月30日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
Top
微信扫码咨询专知VIP会员