VALSE 论文速览 第58期：背景标注引导的动作定位

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自西北工业大学等机构的时序动作定位方面的工作。该工作由韩军伟教授和张鼎文教授指导，论文第一作者杨乐同学录制。

论文题目：Background-Click Supervision for Temporal Action Localization

作者列表：杨乐 (西北工业大学)，韩军伟 (西北工业大学)，赵涛 (西北工业大学)，林天威 (百度视觉技术部)，张鼎文 (西北工业大学)，陈建新 (北京中医药大学)

B站观看网址：

https://www.bilibili.com/video/BV1oL4y1T7eL/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

弱监督时序动作定位任务从只含有视频级分类标签的未修剪视频中学习，希望掌握动作模式并准确地找出动作实例。已有算法普遍受“动作背景混淆”问题的困扰，近期，一些工作提出动作单帧标注的框架来处理这种难题。与传统弱监督时序动作定位算法相比，基于动作单帧标注的算法只消耗相似的标注成本，却能够稳定地提升动作定位性能。同时，我们在研究中发现已有时序动作定位算法可以准确地发掘到相当一部分动作帧，而性能瓶颈主要在于背景错误。因此，我们将动作单帧标注发展为背景单帧标注，并设计两个模块来协同地挖掘标注帧的位置信息和特征信息，以准确地学习动作模式。在挖掘位置信息时，我们不仅在标注帧进行有监督的分类学习，也提出一个新颖的得分分离模块来增加动作帧和背景帧响应的差异性。在挖掘特征信息时，我们提出亲和力模块来衡量每帧和它邻近帧的相似性，以帮助每帧来动态地计算时序卷积，并获取更准确的动作模式。我们在三个基准数据集上进行实验，验证了所提方法具有更优异的时序动作定位性能，同时证明了背景单帧标注的合理性和有效性。

论文信息：

[1] Le Yang, Junwei Han, Tao Zhao, Tianwei Lin, Dingwen Zhang, and Jianxin Chen. "Background-Click Supervision for Temporal Action Localization". IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021.

论文链接：

[https://ieeexplore.ieee.org/document/9633199]

代码链接：

[https://github.com/VividLe/BackTAL]

视频讲者简介：

杨乐，西北工业大学博士生，研究方向为计算机视觉和图像处理，目前专注于时序动作定位任务和视频目标分割任务。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：丁长兴 (华南理工大学)、彭春蕾 (西安电子科技大学)

季度责任AC：杨猛 (中山大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～