北航&商汤提出AWS Auto-Aug：通过Weight共享改进自动数据增广！

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：AI人工智能初学者

论文：https://arxiv.org/abs/2009.14737

近两年自动搜索得到的图像数据增广策略大大提高了各种视觉任务的性能。自动搜索的关键组成部分是对特定增强策略的评估过程，该过程用于返回奖励并进一步得到更好的策略。评估过程将非常耗时。为了获得效率，很多研究者选择牺牲评估可靠性来提高速度。而在本文中将深入研究模型的增强训练的动力学。启发设计了基于增强权重共享的机制，以一种优雅的方式形成快速而准确的评估过程。本文方法在CIFAR-10上，Top-1错误率为1.24％，这是目前性能最佳的单一模型！性能优于Adv AA、PBA、AutoAug等数据增广方法。

1 Introduction

深度学习技术在计算机视觉领域得到了大量应用，在图像分类、目标检测、图像分割、图像描述、人体姿态估计等许多任务中都取得了显著地进展。而过拟合是深度学习中一个广泛存在而又很难回避的问题。很多学者针对不同的任务也提出了不同的正则化方法来缓解过拟合的问题。

数据增强是将具有语义不变性的图像变换方法应用于训练数据中以增加数据的数量和多样性，该方法简单有效，同时也是最常用的正则化方法。对于图像数据，有各种常用的增强操作，包括传统的图像转换，如调整大小、裁剪、剪切、水平翻转、平移和旋转。最近，一些特殊的操作被提出，如Cutout和Sample Pairing。

但是，选择适当的数据增强策略非常耗时，并且需要经验丰富的专家大量努力。因此，自动增强技术被用来根据特定的数据集和模型进行搜索性能增强策略。

2 本文方法

2.1 Motivations

为了验证Data Augmentation可以缓解过拟合的问题，作者探究了性能增加和周期增加之间的关系。在Cifar-10上使用ResNet-18总共训练了300个Epoch，其中一些被AutoAug的搜索策略扩充数据。具体来说增加的开始或结束 Epoch， 表示数量扩张的时代。

主要证明了两点:

• 1)、在增大Epoch 数相同的情况下，在后期进行数据增强可以不断获得较好的模型性能，虚线曲线总是在实线曲线之上。
• 2)、为了将模型训练到相同的性能水平，在后期进行数据增强比在早期进行数据增强需要的Epoch更少，因为虚线总是在实线的左边。

综上所述，实证结果表明，在训练的后期，数据增强的作用更大，可以利用它对不同的增强策略产生有效和可靠的奖励估计。

2.2、Augmentation-Wise Weight Sharing

本文提出了一种新的用于自动增强方法。它包括两个阶段：

• 第一阶段，选择一个共享的增强策略来训练共享的权值，即基于增强的共享模型权值。借鉴了NAS中的权重共享方法，在不同的网络架构中共享权重，以加快搜索速度。
• 第二阶段，进行有效的策略搜索。可靠性在后期更多地作为增强操作功能。

2.3、 Auto-Aug Formulation

本文的搜索数据扩充策略为一个特定的模型表示 ，参数化的 。这里将增强策略看作是对候选图像变换的一个分布函数 ，它是由线性变换控制的。最优增强策略可以描述为一个优化问题。通过求解最优 来固定 以得到最优的权重优化模型，进而得到最优的增强策略。

式中L为损失函数，即交叉熵损失。

外部层是增强策略优化，即对策略参数进行优化给出了内部层次问题的结果。值得注意的是， 的优化的目的是验证准确性ACC

表示参数的最优值和 表示验证准确性。于是该问题便是一个典型的优化问题。

2.4、Proxy Task

在观察到后期的增强操作比早期的增强操作影响更大的情况下，本文提出了一种新的Proxy任务，该Proxy任务用计算效率评估过程代替了内部层优化的求解过程。

Proxy任务是通过2个part来训练增强的参数ω：

• 第一个part：采用共享增强策略对网络进行训练，而不考虑外部优化给出的当前策略；
• 第二个part：通过给定策略的加权，对网络模型的扩展共享权值进行微调，以评估该策略的性能。

由于第一个part中共享的增强训练独立于给定的策略冗余，对于所有候选的增强策略只需训练一次就可以进行搜索，大大加快了优化速度。

此外，通过调整微调的次数，还可以在很大程度上保持评估的可靠性。

3 消融实验

3.1、Cifar10实验

3.2、Cifar100实验

3.3、ImageNet实验

更为详细内容可以参见论文中的描述。

References

[1] Improving Auto-Augment via Augmentation-WiseWeight Sharing

论文下载

在CVer公众号后台回复：1008，即可下载本论文

下载1：动手学深度学习

在CVer公众号后台回复：动手学深度学习，即可下载547页《动手学深度学习》电子书和源码。该书是面向中文读者的能运行、可讨论的深度学习教科书，它将文字、公式、图像、代码和运行结果结合在一起。本书将全面介绍深度学习从模型构造到模型训练，以及它们在计算机视觉和自然语言处理中的应用。

下载2：CVPR /  ECCV 2020开源代码

在CVer公众号后台回复：CVPR2020，即可下载CVPR 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-论文写作与投稿交流群成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满2300+人，旨在交流顶会（CVPR/ICCV/ECCV/NIPS/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI/TIP等）、SCI、EI、中文核心等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加微信群

▲长按关注CVer公众号

整理不易，请给CVer点赞和在看！