VALSE 论文速览 第46期：基于多层次特征优化的自监督视频表征学习

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自上海交通大学等机构的自监督视频表征学习的工作。该工作由林巍峣教授指导，论文第一作者钱锐同学录制。

论文题目：Enhancing Self-supervised Video Representation Learning via Multi-level Feature Optimization

作者列表：钱锐 (上海交通大学)，李昱希 (上海交通大学，腾讯优图)，刘华斌 (上海交通大学)，John See (Heriot-Watt University)，丁双睿 (上海交通大学)，刘锡安 (浙江大学)，李典 (腾讯PCG)，林巍峣 (上海交通大学)

B站观看网址：

https://www.bilibili.com/video/BV1a44y1p76i/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

自监督视频表征学习的目标是从无标注的视频数据中学习通用可迁移的特征。现有的工作大多从高维语义入手进行建模，但忽略了对通用视频理解非常重要的中低层次表征及视频中丰富的时域关系。为了解决这个问题，本文提出了一个统一的多级特征优化框架，以提高视频表征的泛化能力和时域感知能力。具体地，我们通过简单的实例判别和基于原型的对比学习联合优化高维语义特征，并基于此构建特征分布图，将其作为可靠的自监督信号用于指导中低层级特征的学习。同时，我们基于多级特征设计了一个简单的时间感知模块来增强对不同运动模式的判别。大量的实验表明，本文提出的具有图约束和时间建模的多级特征优化可以大幅提升视频表征的泛化性。

论文信息：

[1] Qian, Rui and Li, Yuxi and Liu, Huabin and See, John and Ding, Shuangrui and Liu, Xian and Li, Dian and Lin, Weiyao. "Enhancing Self-Supervised Video Representation Learning via Multi-Level Feature Optimization." In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. pp. 7990-8001, virtual, October 2021.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/html/Qian_Enhancing_Self-Supervised_Video_Representation_Learning_via_Multi-Level_Feature_Optimization_ICCV_2021_paper.html]

代码链接：

[https://github.com/shvdiwnkozbw/Video-Representation-via-Multi-level-Optimization]

视频讲者简介：

钱锐，香港中文大学博士生，研究方向为计算机视觉和机器学习，目前主要研究自监督表征学习和视频理解方面的工作，该工作于上海交通大学完成。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：叶茫 (武汉大学)、刘昊 (宁夏大学)

季度责任AC：杨猛 (中山大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～