CVPR 2020 Oral：一行代码提升迁移性能，中科院计算所研究生一作

2020 年 4 月 4 日 极市平台

加入极市专业CV交流群，与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号，回复 加群，立刻申请入群~

写在文前：

【清明追思，家国永念】今天是国家公祭日，全国深切哀悼抗疫烈士和逝世同胞，愿花飨逝者、春暖斯人。

------

来源：量子位@微信公众号

在迁移学习任务中，一直存在这样的问题：

目标域由于没有标签，常常导致分界面附近混淆较多的数据。

中科院计算所的在读研究生崔书豪等，提出了一种新的解决方法： 批量核范数最大化 （Batch Nuclear-norm Maximization，BNM）。

在典型的标签不足场景下(如半监督学习等)，BNM可以有效地提升学习效果。

并且，大量实验表明，BNM的性能要优于目前主流的一些方法，并且搭配起来使用，效果也很不错。

这篇论文已被接收为CVPR 2020 Oral。

主要思路

类别预测的判别性与多样性同时指向批量响应矩阵的核范数，这样就可以最大化批量核范数来提高迁移问题中目标域的性能。

可以通过分析批量类别响应组成的批量矩阵A，尝试从判别性和迁移性进行优化。

判别性

所谓判别性，指的是预测类别的过程是否坚定。比如对于二类问题的响应：
1、[0.9,0.1]判别性较高
2、[0.6,0.4]判别性较低。

常见的方法采用最小化熵来得到较高的判别性。我们发现矩阵A的F范数与熵有着相反的单调性，从而可以通过最大化A的F范数来提升判别性。

多样性

多样性可以近似表达为批量矩阵中预测的类别数量，即预测的类别数量多则响应多样性大。

考虑不同类别响应的线性相关性，如果两个响应属于不同类别，那么响应会差别较大线性无关，如果属于相同类别则近似线性相关：
1、[0.9,0.1]与[0.1,0.9]线性无关
2、[0.9,0.1]与[0.8,0.2]近似线性相关。

那么预测类别数也就是矩阵中最大的线性无关向量数，即矩阵的秩。

BNM

核范数是矩阵奇异值的和，在数学上有两点结论：

1、核范数与F范数相互限制界限
2、核范数是矩阵秩的凸近似

所以类别预测的判别性与多样性同时指向矩阵的核范数，我们可以最大化矩阵核范数（BNM）来提升预测的性能。

比如上图中，如果使用熵最小化（EntMin）和BNM来优化，当熵相同的时候，使用BNM优化更容易使得核范数更大，从而预测对拥有较少数量的类别（绵羊）。

实现

在常用的框架Pytorch与Tensorflow中，均可通过一行代码实现BNM。

Pytorch:

TensorFlow：

应用

我们将BNM应用到三个标签不足的场景中：半监督学习、领域适应和开放域物体识别。

实验表明，在半监督学习中可以提升现有方法；在领域适应中BNM约束明显优于EntMin，并且单一的BNM约束可以达到与现有方法相近的性能，如下图：

在开放域物体识别中单一的BNM约束超过有着冗杂损失函数的UODTN，达到SOTA性能，如下图：

同时在开放域物体识别中，我们统计了随机采样的批量响应中未知类所占比例，如图：

我们发现BNM确实可以保持未知类所占比例，从而保障整体预测的类别数量与准确性，从而保持多样性。

此方法主要针对的是缺少标签场景下分界面附近数据密度较大的问题，对于迁移相关的任务有着较为普遍的改善价值。

知乎高质量回答

论文作者包括中科院计算所学生崔书豪，卓君宝；计算所副研究员王树徽，李亮；国科大讲席教授黄庆明和华为诺亚方舟实验室田奇博士。

本文第一作者崔书豪，2018年本科毕业于清华大学自动化系，现在是中科院计算所VIPL实验室二年级硕士生，研究方向为深度领域适应学习与开放域学习技术。指导老师王树徽，长期从事跨模态、跨域分析推理技术研究

值得一提的是，崔书豪以第一作者向CVPR 2020提交了两篇论文，另一篇是Gradually Vanishing Bridge for Adversarial Domain Adaptation，目前也被接收。

传送门

论文原址：
https://arxiv.org/pdf/2003.12237.pdf

第二篇CVPR:
https://arxiv.org/abs/2003.13183

BNM项目Github主页：
https://github.com/cuishuhao/BNM

崔书豪知乎：
https://zhuanlan.zhihu.com/p/121507249

-END -

*延伸阅读

极市独家福利

40万奖金的AI移动应用大赛，参赛就有奖，入围还有额外奖励

添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：AI移动应用-小极-北大-深圳），即可申请加入AI移动应用极市技术交流群，更有每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流，一起来让思想之光照的更远吧~