牛津大学VGG组论文解读：自动发现和学习新的视觉类别

加入极市专业CV交流群，与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度 等名校名企视觉开发者互动交流！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号 ，回复 加群，立刻申请入群~

作者：bingo

知乎链接：https://zhuanlan.zhihu.com/p/108448214

本文已由作者授权转载，未经允许，不得二次转载。

最近看到ICLR2020关于特征学习和计算机视觉的论文，发现VGG组Andrew Zisserman (做CV领域应该都知道，不知道的请自行补课)和Andrea Vedaldi(用过VLFeat的应该知道)两位大佬挂名了一篇论文："AUTOMATICALLY DISCOVERING AND LEARNING NEW VISUAL CATEGORIES WITH RANKING STATISTICS"。这篇论文的问题和想法比较有意思，所以就写一个笔记记录一下。

论文：https://openreview.net/pdf?id=BJl2_nVFPB

发现新的视觉类别（Discover New Visual Categories）

New Visual Categories Discovery这个问题的定义如图1，首先我们给定有标签的已知类别图像数据，目标是对未知并且无标签的图像集合进行聚类（视觉类别发现），使聚类结果尽可能接近图像的真实语义类别。视觉类别发现与半监督学习以及领域自适应等问题的区别在于，这里无监督数据和有监督数据的类别是不同的。

图1. New Visual Categories Discovery任务定义。这个任务通过利用已知的有标签图像，对类别不确定的无标签数据进行聚类，使得聚类结果尽可能接近真实的视觉语义类别。

需要指出，视觉类别发现区别于简单聚类任务，这里有监督的数据是必不可少的。直观的理解如图2，如果没有任何先验知识，那么聚类结果不具有唯一性。根据颜色、形状、边框类型，我们分别可以得到不同且合理的聚类结果。有了有标签数据之后，我们可以得到关于视觉类别的先验知识作为聚类参考，从而消除了很多歧义和不合理的聚类。

图2. 如果没有任何先验知识，聚类结果不具有唯一性。 例如我们根据颜色、形状、边框类型，可以得到3组不同但是都合理的聚类结果。

方法介绍

作者提出的方法主要包括三个贡献：

如果只在有标签数据上面进行特征预训练，很容易使特征表示偏向于有标签集合，不利于聚类和视觉发现。作者提出通过在有标签+无标签数据上进行自监督预训练来解决这个问题。

使用排序统计指标作为成对数据相似性度量标准，产生有噪声伪标签用于训练。

将有标签数据的分类任务和无标签数据的聚类任务，放到一个统一的优化目标进行训练，使得他们相互促进。

图3. 方法步骤

0. 问题和相关符号

给定有标签和无标签数据如下：

我们的目标是通过自动聚类，发现无标签数据的潜在类别   。

为了进行训练，在深度网络最后一层接两个分类器，如下：

Step1 自监督学习

作者采用的是旋转预测的方式进行自监督预训练。

Step2 有监督训练

使用有监督数据和cross entropy loss进行特征学习（只学习最高层的feature，因为自监督学习已经使底层特征就有很好的表达能力）

Step3-1 通过排序统计计算成对数据相似性

首先，对每个图片的特征的各个维度进行排序，然后根据下面方法计算相似性：

如果两个图片特征的最大的k个维度相同，那么就认为他们来自同一个类别。有了成对相似性之后，可以计算Binary Cross-Entropy的损失： 

Step3-2 特征一致性和联合训练

为了使得统计排序更加稳定，引入变换一致性的损失函数：就是数据变换之后的分类或者聚类结果和原始图像的结果应该尽可能接近（相似思想在SimCLR中也有体现）  

最后，将BCE，MSE以及有监督数据上面的CE损失函数放到一起进行优化。

 。

总结

自监督学习最近得到越来越多的关注，而且在不同任务里面得到了体现，包括但不限于提升特征表达能力、提高模型稳定性、防止过拟合等等。

视觉类别发现，是一个比较有意思的任务。

相关论文：

1. AUTOMATICALLY DISCOVERING AND LEARNING NEW VISUAL CATEGORIES WITH RANKING STATISTICS, ICLR2020

2. Learning to Discover Novel Visual Categories via Deep Transfer Clustering, ICCV2019

-END -

推荐阅读：

• 67页综述深度卷积神经网络架构：从基本组件到结构创新

• GitHub趋势榜第一：TensorFlow+PyTorch深度学习资源大汇总

• 文本检测大满贯！自适应文本区域表示改进形状任意的文本检测

极市平台视觉算法季度赛，提供真实应用场景数据和免费算力，特殊时期，一起在家打比赛吧！

添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-深圳），即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群，更有每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流，一起来让思想之光照的更远吧~

△长按添加极市小助手

△长按关注极市平台，获取最新CV干货

觉得有用麻烦给个在看啦~