即插即用！TBC：卷积新形态，实现更强的CNN！适用于分类/检测/分割等

会员服务 ·

即插即用！TBC：卷积新形态，实现更强的CNN！适用于分类/检测/分割等

2020 年 10 月 12 日 CVer

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：AI人工智能初学者

论文：https://arxiv.org/abs/2009.12021

这篇文章提出了TBC(Tied Block Convolution)卷积，实现更强的CNN模型，是一种新的卷积形态，即插即用！与ResNet、SENet结合为TiedResNet、TiedSENet涨点明显，同时也可以应用于分类、检测、分割等任务，代码即将开源！
作者单位：加州大学伯克利分校

1、简介

卷积是卷积神经网络（CNN）的主要构建块。通过实验观察到，通道数量随着深度的增加而增加，优化后的CNN通常具有高度相关的Filters，从而降低了特征表示的表达能力。

通过图(a)可以看出，随着网络Layer的加深，卷积核之间的相关性越来越强；

通过上图也可以得到，随着Layer的增加，kernel的多样性也在下降，kernel之间的相关性也在增加；

为了解决这种冗余的状况，作者提出了Tied Block Convolution(TBC)，它在相同的通道块上共享相同的Thinner kernels，并通过单个kernel产生多个响应。

TBC不仅仅在标准卷积使用，还可以扩展到组卷积和完全连接的层，并且可以应用于各种backbone和注意力模块。同时TBC卷积在标准卷积和群组卷积方面具有明显的效果和性能，所提出的TiedSE注意模块甚至可以使用比SE模块少64倍的参数情况下得到差不多的性能。

特别是，标准的CNN经常在存在遮挡的情况下无法准确地提取信息，并导致多个冗余的部分object proposal。而TBC天生具有去除冗余的性质可以减少相关性并可以有效处理高度重叠的实例。当遮挡率为80％时，TBC可将MS-COCO上物体检测的平均精度提高6％。

2、相关工作

2.1、Backbone Networks

这里应该是大家都熟知的经典模型了，在这里再罗列一下，具体原理和设计不在解说，大家可以自行看论文原文：

AlexNet
VGGNet
GoogleNet
ResNet
ResNeXt
HRNet

等等。

2.2、Attention Modules

在罗列的Attention相比也是大家所熟知的，也可能就是正在使用的香饽饽，具体原理和设计不在解说，大家可以自行看论文原文：

SENet
SKNet
GCBNet
CAM
MS-CAM

等等

3、Tied Block Convolution Network Design

3.1、TCB卷积的诞生

Standard Convolution

这里假设输入特征为 ,输出特征为，则标准卷积SC(Standard Convolution):

其中SC kernel为，参数量为

Group Convolution

这里假设把把输入特征X分为G个相同size的Group，表示为，相应地每个Group的size为，那么GC可以表示为：

其中表示Concatenate操作，参数量为；下图为分为2个Group的操作，用了两个不同的Kernel：

Tied Block ConvolutionTBC卷积通过在不同特征组间重用Kernel来减少滤波器的有效数量：

其中表示Concatenate操作，参数量为；B表示把Channel分为多少个Group，即B个Equal Block；

3.2、TCB卷积相对于GC卷积的优势

相对于GC卷积，参数量降低了B倍；
BC在GPU利用率上只有1个Fragmentations，而GC有G个Fragmentations，大大降低了并行度；
每一组TBC过滤器都应用于所有输入通道，可以更好地建模跨通道依赖关系；

3.3、TCB卷积的拓展使用

1、TGC(Tied Block Group Convolution)卷积

TCB卷积的思想也可以直接应用到Group卷积中，表示为:

2、TFC(Tied Block Fully Connected Layer)

将同样的TCB卷积的思想应用到FC中。Tied Block Fully Connected Layer(TFC)共享输入通道等块之间的FC连接。

3.4、TBC构建的Bottleneck

3.4.1、TiedResNet

下图为基于TBC卷积和ResNet构建的TiedResNet Bottleneck：

3.4.2、TiedResNeXt

下图为基于TBC卷积和ResNet构建的TiedResNeXt Bottleneck：

3.4.3、TiedResNeSt

下图为基于TBC卷积和ResNet构建的TiedResNeSt Bottleneck：

3.4.4、TiedSE

下图为基于TBC卷积和ResNet构建的TiedSE Bottleneck：

3.4.5、TiedGCB下图为基于TBC卷积和ResNet构建的TiedGCB Bottleneck：

4、实验

4.1、图像分类实验

4.2、目标检测实验

由下表可以看出，加入Tied CNN后性能得到了明显的提升，同时参数还下降了很多：

4.3、实例分割实验

5、可视化结果分析

通过分析Heatmap和Histograms图可以看出基于Tied CNN的模型由于去除了深层网络层冗余的kernel，模型注意力更加地集中，因此对于目标检测或者实例分割出现遮挡的情况更加的鲁棒。效果如下图所示：

图中第一排为ResNet作为BackBone的结果，第二排为TiedResNet作为BackBone的结果，可见对于遮挡的情况，TiedCNN有更好的效果。

更多详细信息，可以参考论文原文。

参考：[1].Tied Block Convolution:Leaner and Better CNNs with Shared Thinner Filters

论文下载

在CVer公众号后台回复：TBC，即可下载本论文

下载1：动手学深度学习

在CVer公众号后台回复：动手学深度学习，即可下载547页《动手学深度学习》电子书和源码。该书是面向中文读者的能运行、可讨论的深度学习教科书，它将文字、公式、图像、代码和运行结果结合在一起。本书将全面介绍深度学习从模型构造到模型训练，以及它们在计算机视觉和自然语言处理中的应用。

下载2：CVPR / ECCV 2020开源代码

在CVer公众号后台回复：CVPR2020，即可下载CVPR 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-论文写作与投稿交流群成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满2300+人，旨在交流顶会（CVPR/ICCV/ECCV/NIPS/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI/TIP等）、SCI、EI、中文核心等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群