VALSE 论文速览 第51期：Cross-Encoder: 无监督视线表示学习框架

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自计算技术研究所等机构的无监督视线表示学习方面的工作。该工作由山世光研究员指导，论文第一作者孙蕴嘉同学录制。

论文题目：Cross-Encoder for Unsupervised Gaze Representation Learning

作者列表：孙蕴嘉 (中国科学院计算技术研究所，中国科学院大学)，曾加贝 (中国科学院计算技术研究所)，山世光 (中国科学院计算技术研究所，中国科学院大学)，陈熙霖 (中国科学院计算技术研究所，中国科学院大学)

B站观看网址：

https://www.bilibili.com/video/BV1V44y1n7q8/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

为了在没有大量标注数据的情况下进行 3D 视线估计的深度学习，我们提出了无监督学习框架 Cross-Encoder，利用无标签数据来学习视线估计的表示。为了解决视线特征总是与眼睛特征耦合在一起的问题，Cross-Encoder 在“相同眼图像对”和“视线相似图像对”上交换一部分特征，以达到解耦的目的。具体来说，每张图像都会被编码为一个视线特征和一个眼睛特征。Cross-Encoder根据其视线特征和图像对中另一图像的眼睛特征来重构“相同眼图像对”中的每幅图像，而根据眼睛特征和图像对中另一图像的视线特征重构“视线相似图像对”中的每幅图像。实验结果证明了我们工作的有效性。首先，不论是跨数据集，还是在同一数据集内，Cross-Encoder学习的视线表示在使用很少样本训练的情况下，优于其他无监督学习方法。其次，由Cross-Encoder预训练的ResNet18能与目前最好的视线估计方法相匹敌。最后，消融实验表明，Cross-Encoder解耦了视线特征与眼部特征。

论文信息：

[1] Yunjia Sun, Jiabei Zeng, Shiguang Shan, Xilin Chen, "Cross-Encoder for Unsupervised Gaze Representation Learning," 18th International Conference on Computer Vision (ICCV 2021), pp. 3702-3711, Virtual, October 11-17, 2021.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/papers/Sun_Cross-Encoder_for_Unsupervised_Gaze_Representation_Learning_ICCV_2021_paper.pdf]

代码链接：

[https://github.com/sunyunjia96/Cross-Encoder]

视频讲者简介：

孙蕴嘉，中国科学院大学、中国科学院计算技术研究所博士生，研究方向为计算机视觉，目前专注于3D视线估计。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：刘昊 (宁夏大学)、叶茫 (武汉大学)

季度责任AC：杨猛 (中山大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～