自监督学习的一些思考

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：新智元 &  Xiaohang Zhan

https://zhuanlan.zhihu.com/p/150224914

【导读】自然的场景理解是一项艰巨的任务。任务复杂多样，不同方法各有各的专用训练代码，难以结合、复用和改进。评价方案不统一，不同的方法难以在公平环境下对比；动辄百万千万的训练数据量，训练效率是个大问题。港中文MMLab开源自监督表征学习代码库OpenSelfSup，号称「一行命令跑评测」，并在各大Benchmark上验证了复现结果。

香港中文大学近年来在机器学习方面的成就，甚至盖过了大部分的理工科院校，这一点厉害了。尤其是在自监督学习方面，不知不觉的就走在了学术研究的前排。

最近，港中文MMLab开源自监督表征学习代码库OpenSelfSup，号称「一行命令跑评测」，并在各大Benchmark上验证了复现结果。

OpenSelfSup 使用 PyTorch 实现，支持基于分类、重建、聚类、memory bank、contrastive learning 的多种自监督学习框架。目前收录了 Relative Location、Rotation Prediction、DeepCluster、OnlineDeepCluster、NPID、MoCo、SimCLR 等一系列表现较好的自监督表征学习方法，后续还将陆续跟进学术界最新算法。

OpenSelfSup推出后受到不少人关注，但也有不少人对如何上手这个代码库表示有一些疑惑。新智元邀请香港中文大学多媒体实验室的詹晓航博士，为我们解读关于自监督学习的归纳、思考和展望。

如何定义自监督学习？

自监督学习是指用于机器学习的标注（ground truth）源于数据本身，而非来自人工标注。如下图，自监督学习首先属于无监督学习，因此其学习的目标无需人工标注。其次，目前的自监督学习领域可大致分为两个分支。

第一个是用于解决特定任务的自监督学习，例如上次讨论的场景去遮挡，以及自监督的深度估计、光流估计、图像关联点匹配等。另一个分支则用于表征学习。有监督的表征学习，一个典型的例子是ImageNet分类。而无监督的表征学习中，最主要的方法则是自监督学习。典型的方法包括：解决Jigsaw Puzzles、运动传播、旋转预测，以及最近很火的MoCo等等。

图一，自监督学习和其他学习类型的关系

判断一个工作是否属于自监督学习，除了无需人工标注这个标准之外，还有一个重要标准，就是是否学到了新的知识。举个简单的例子，例如image inpainting是否属于自监督学习？

如果一篇image inpainting的论文，其主要目的是提升inpainting的效果，那么它就不属于自监督学习，虽然它无需额外标注。但是如果它的目的是借助inpainting这个任务来学习图像的特征表达，那么它就是自监督学习（参考论文：Context Encoders）。

如下图，以自监督表征学习为例，我们通常需要设计一个自监督的proxy task，我们期望在解决这个proxy task的过程中，CNN能学到一些图像高级的语义信息。然后我们将训练好的CNN迁移到其他目标任务，例如图像语义分割、物体检测等等。

图二，典型的自监督表征学习流程

那么，自监督的proxy task有哪些呢？如下图，第一行中的思路是将图像以某种方式破坏，然后用神经网络来学习恢复原图的过程。然而，将图像破坏，可能带来预训练的domain和目标任务domain不一致的问题。而第二行中的proxy  tasks则无需破坏原图，因此避免了domain的问题。第三行中的方法是利用运动信息等多模态信息来学习图像特征。当然除了图中这些例子之外，还有各种各样其他有趣的自监督任务。

图三，自监督proxy tasks的例子

为什么自监督学习能学到新信息？

1. 先验

我们的世界是在严格的物理、生物规则下运行的，那么对这个世界的观测结果（图像）也必然存在一些先验规律。例如图像上色任务，就是利用了物体类别和物体颜色分布之间的关联；image inpainting，则是利用了物体类别和形状纹理之间的关联；旋转预测任务，利用了物体类别和其朝向之间的关联。通过挖掘更多的先验，我们也能设计自己的自监督学习任务。

那么什么样的先验更有效呢？结论是，低熵的先验。如下图，左边的运动预测任务（ICCV 2015: Dense Optical Flow Prediction From a Static Image） ，是从单张图片中直接预测运动场，其利用的先验是物体的运动倾向性。

而运动倾向性是比较歧义的，例如人在半蹲状态，难以预测下一时刻会站起来还是继续下蹲。因而，运动倾向性是一个高熵的先验。而右图的运动传播任务（CVPR 2019: Self-Supervised Learning via Conditional Motion Propagation），从给定的稀疏运动来恢复完整运动场，利用的则是物体的运动学属性先验。

运动学属性，例如头部是刚体，四肢是铰接体等，是较为确定的先验，那么这就是一个低熵的先验。从实验结果也可以发现，在transfer到分割任务上，运动传播比运动预测更好。

图四，运动预测和运动传播的对比

2. 连贯性

图片具有空间连贯性，视频具有时空连贯性。那么就可以利用这些特点来设计自监督任务。如下图：

图五，利用数据空间、时间连贯性的自监督任务

3. 数据内部结构

目前很火的基于contrastive learning的方法，我们可以将它们统一为instance discrimination任务。如下图，这类任务通常对图片做各种变换，然后优化目标是同一张图片的不同变换在特征空间中尽量接近，不同图片在特征空间中尽量远离。

图六，instance discrimination任务

对于这类任务，下图提供了两种可能的优化后的特征空间。这两种结果都是符合instance discrimination优化目标的，即同一张图片的不同变换在特征空间中尽量接近，不同图片在特征空间中尽量远离。

然而，我们发现，实际的优化结果更偏向于第二种而非第一种，也就是说，虽然我们在解决instance discrimination的过程中并没有用的物体的类别标签，但是在优化后的特征空间中，同类的物体还是相对能够靠拢。这就证明了，数据之间是具有结构性和关联性的。Instance discrimination则是巧妙地利用了这种结构性和关联性。

图七，instance discrimination的两种可能的优化后的特征空间

设计一个自监督学习任务还需要考虑什么？

1.捷径（shortcuts）

以jigsaw puzzles为例，如下图，如果我们让划分的patch之间紧密挨着，那么神经网络只需要判断patch的边缘是否具有连续性，就可以判断patch的相对位置，而不需要学到高级的物体语义信息。这就是一种捷径，我们在设计任务的过程中需要避免这样的捷径。

图八，解决jigsaw puzzles时，patch之间不能紧密挨着

避免的方式也很简单，我们只需要让patch之间产生一些随机的间隔就行，如下图。

图9，让patch之间产生随机间隔

Solving jigsaw puzzles的其他捷径还包括色差、彗差、畸变、暗角等可以指示patch在图像中的相对位置的信息。解决方案除了想办法消除这些畸变外，还可以让patch尽量靠近图像中心。

图10，色差、彗差、畸变、暗角等可利用的捷径

2.歧义性（Ambiguity）

大多数利用先验来设计的自监督任务都会面临歧义性问题。例如colorization中，一种物体的颜色可能是多种多样的，那么从灰度图恢复颜色这个过程就具有ambiguity；再例如在rotation prediction中，有的物体并没有一个通常的朝向（例如俯拍放在桌上的圆盘子）。有不少已有工作在专门解决特定任务的歧义性问题，例如CVPR 2019的Self-Supervised Representation Learning by Rotation Feature Decoupling。另外就是设计低熵的先验，因为低熵的先验也具有较低的歧义性。

3.任务难度

图11，solving jigsaw puzzles中的不同难度

神经网络就像一个小孩，如果给他太简单的任务，他学不到有用的知识，如果给他太难的任务，他可能直接就放弃了。设计合理的难度也是一个需要考虑的方面。

如何上手？OpenSelfSup: 通用的自监督表征学习代码库

上手自监督学习是一件非常有难度的事情，主要体现在3个方面：

1. 由于自监督学习任务复杂多样，不同方法各有各的专用训练代码，难以结合、复用和改进

2. 评价方案不统一，不同的方法难以在公平环境下对比

3. 动辄百万千万的训练数据量，训练效率是个大问题

针对这些问题，香港中文大学多媒体实验室和南洋理工大学开源了一套通用的自监督学习代码库，链接如下：

https://github.com/open-mmlab/OpenSelfSup

1.统一的框架

这套代码库设计了一个统一的代码框架，支持基于分类、重建、聚类、memory bank、contrastive learning的多种自监督学习模式，目前收录了Relative Location, Rotation Prediction, DeepCluster, OnlineDeepCluster, NPID, MoCo, SimCLR等一系列表现较好的自监督表征学习方法。

2.标准化的评测方案

OpenSelfSup目前支持ImageNet/Place205 Linear Classification, ImageNet Semi-Supervised Classification, PASCAL VOC07 Linear SVM, PASCAL VOC / COCO Object Detection等多个标准的评测方案。

3.高效率的分布式训练

OpenSelfSup中收录的算法全部都实现了多机多卡的分布式训练。

4.容易上手

环境配置，数据配置都有from scratch的脚本或者详细的指导，简单易行。训练和测试现有算法，都只需要一行命令搞定。

5.模块化设计：高度灵活性和可扩展性

OpenSelfSup用config文件来定义各种参数和模块，方便参数调节和模块修改。采用高度模块化的设计，使得开发自己的自监督学习算法变得非常方便。

config中还支持一些较复杂的调整，比如data augmentation的组合、learning rate schedule、独立调整某些网络参数的优化参数等。例如，你希望单独调整head中fully-connected layer的momentum和learning rate，或者backbone中某几层的weight decay等等，可以在config中optimizer: paramwise_option下用正则表达式筛选出对应网络参数然后指定这些值，而不需要改动代码。如下是DeepCluster中指定head (fc layer)的momentum为0的设置。

具体介绍，可参考：

https://zhuanlan.zhihu.com/p/148782886

这个总结主要基于自己的思考，也许不一定非常到位，权当抛砖引玉。最后，希望大家都能够设计出有趣又有用的自监督学习任务，为这个领域添砖加瓦。

作者介绍

本文的作者詹晓航，本科毕业于清华大学，目前是香港中文大学多媒体实验室三年级博士生，指导老师是Chen Change Loy、林达华和汤晓鸥教授。

曾在CVPR、ECCV等计算机视觉顶级会议上发表论文十余篇，包括五篇第一作者论文。另外曾获国家奖学金、清华大学本科优秀毕业生、Hong Kong PhD Fellowship、Facebook自监督学习挑战赛冠军等荣誉。

他的博士期间主要研究方向为无监督学习，具体工作涵盖人脸聚类、自监督场景理解、无监督表征学习等。

个人主页：

https://xiaohangzhan.github.io/

重磅！CVer-论文写作与投稿交流群成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满2000+人，旨在交流顶会（CVPR/ICCV/ECCV/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI等）、SCI、EI等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加微信群

▲长按关注CVer公众号

整理不易，请给CVer一个在看！