动态滤波器卷积新高度！DDF：同时解决内容不可知与计算量两大缺陷｜CVPR2021

卷积作为CNN的基础部件之一，尽管常用，但存在两个主要缺陷：(1) 内容不可知；(2) 重度计算量。动态滤波器具有内容自适应特性，但同时进一步提升了计算量。深度(depth-wise)卷积是一种轻量型版本，但它往往会造成CNN性能下降，或者需要更大的通道数。

本文提出一种解耦动态滤波器(Decoupled Dynamic Filter)，它可以同时解决上述缺陷。受启发于近期注意力的进展，DDF将深度动态滤波器解耦为空域与通道动态滤波器。该分解可以大大减少参数量，并将计算量限制在与深度卷积同等水平。同时，采用DDF替换分类网络中的标准卷积可以带来显著的性能提升。比如，ResNet50/101分别可以带来1.9%与1.3%的top1精度提升，且计算量近乎减半。在检测与联合上采样方面的实验同样证实了DDF上采样变种相比标准卷积的优异性。

本文所提DDF及其上采样变种DDF-Up具有以下几点优异属性：

Content-adaptive DDF提供了空间可变滤波器，这使得其具有内容自适应特性； Fast runtime DDF具有与深度卷积相近的计算量，因此它的推理速度要比标准卷积、动态滤波器更快； Smaller memory footprint DDF可以显著降低动态滤波器的内存占用，这使得我们可以采用DDF直接替换所有的标准卷积； Consistent performance improvements 采用DDF/DDF-Up替换标准卷积可以带来一致性的性能提升，同时在不同网络、不同任务上均取得了SOTA性能。