VALSE 论文速览 第02期：探索简单孪生网络表征学习

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自Facebook AI Research的自监督学习工作SimSiam。该工作由Kaiming He和Xinlei Chen合作完成，获得了CVPR2021最佳论文荣誉提名，Xinlei录制了视频。

论文题目：探索简单孪生网络表征学习

作者列表：Xinlei Chen (FAIR)，Kaiming He (FAIR)

B站观看网址：

https://www.bilibili.com/video/BV1pg411M7b6/

复制链接到浏览器打开或点击阅读原文即可跳转至B站观看页面。

论文摘要：

孪生网络是现在许多无监督表征学习模型里常见的结构。这些模型最大化来自同一张图片的两个不同的view，同时采用不同的约束条件来避免平凡解。在本文，我们发现简单的孪生网络就可以学到有意义的表征，不需要负样本对，不需要大batch，也不需要momentum encoder。实验表明平凡解是存在的，但只需要一个stop-grad操作就可以有效避免，并能在ImageNet和下游任务中取得不错的结果。论文中还讨论了stop-grad实际作用的假设，做了相应的验证性的实验。本文入选了CVPR 2021的口头报告，并获得了CVPR2021最佳论文奖提名。

论文信息：

[1] Xinlei Chen, Kaiming He, “Exploring Simple Siamese Representation Learning,” in Proceeding of IEEE Computer Vision and Pattern Recognition (CVPR 2021), virtual, June 2021. 

论文链接：

[https://arxiv.org/abs/2011.10566] 

代码链接：

[https://github.com/facebookresearch/simsiam]

视频讲者简介：

陈鑫磊,本科和博士分别毕业于浙江大学和卡内基梅隆大学。目前就职于Facebook AI Research，主要从事计算机视觉，自然语言处理和机器学习的研究。

看到这了，确定不关注下吗？关注下再走吧～

特别鸣谢本次论文速览主要组织者：

月度轮值AC：王栋 (大连理工大学)、王鹤 (北京大学)

季度责任AC：王兴刚 (华中科技大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，直播地址：https://live.bilibili.com/22300737；VALSE的近期历史视频可在这里观看：https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ Q群，群号：698303207）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3. VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。