AAAI2020 | 稠密边界视频动作检测器DBG

点击上方“CVer”，选择加"星标"或“置顶”

重磅干货，第一时间送达

作者：sword

https://zhuanlan.zhihu.com/p/91729987

本文已由作者授权，未经允许，不得二次转载

本文介绍我们录用于AAAI2020上的论文: "Fast Learning of Temporal Action Proposal via Dense Boundary Generator"。这篇论文主要针对时序动作提名生成(temporal action proposal generation)任务提出了一种新的方法-稠密边界生成器(Dense Boundary Generator, DBG)，该方法改进了原有的BSN，BMN，MGG的一些缺陷，能够端到端地生成高质量的时序动作提名。基于该方法，我们取得了ActivityNet评测中时序动作提名任务的榜单第一。论文已经被AAAI2020接受，可参考DBG_paper，相关代码刚刚已经开源在了github上，可参考DBG_code，欢迎大家fork和star。

作者团队：腾讯优图&厦门大学

论文：https://arxiv.org/abs/1911.04127

https://github.com/TencentYoutuResearch/ActionDetection-DBG

DBG框架结构

我们的算法框架如下图所示，包括三个部分：视频特征抽取（Video Representation），稠密边界动作检测器（DBG），后处理（Post-processing）。框架图如下：

DBG创新点

其中DBG主要包括如下几个创新点：

（1）提出一种快速的、端到端的稠密边界动作生成器（Dense Boundary Generator，DBG）。该生成器能够对所有的动作提名（proposal）估计出稠密的边界置信度图。

（2）引入额外的时序上的动作分类损失函数来监督动作概率特征（action score feature，asf），该特征能够有效的促进动作完整度回归（Action-aware Completeness Regression，ACR）。

（3）设计一种高效的动作提名特征生成层（Proposal Feature Generation Layer，PFG），该Layer能够有效捕获动作的全局特征，方便实施后面的分类和回归模块。

DBG实验

ActivityNet1.3数据集分为Validation和Test两个评估集，我们的DBG单模型（表中Ours）在Validation和Test的两种评估模式上均取得了Top 1，见下表的Val和Test。

THUMOS14数据集测试集标注已经公开，我们将DBG与现有的开源方法进行对比，DBG在不同指标下的召回率也明显优于其他方法。

其他实验和细节请参考我们的论文，具体的实现可靠我们的代码。

推荐阅读

大盘点 | 2019年4篇目标检测算法最佳综述

大盘点 | 2019年5篇图像分割算法最佳综述

大盘点 | 2019年3篇目标跟踪算法最佳综述

重磅！CVer学术交流群已成立

扫码可添加CVer助手，可申请加入CVer大群和细分方向群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索等群。一定要备注：研究方向+地点+学校/公司+昵称（如目标检测+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加群

▲长按关注我们

麻烦给我一个在看！