卷积作为CNN的基础部件之一,尽管常用,但存在两个主要缺陷:(1) 内容不可知;(2) 重度计算量。动态滤波器具有内容自适应特性,但同时进一步提升了计算量。深度(depth-wise)卷积是一种轻量型版本,但它往往会造成CNN性能下降,或者需要更大的通道数。

本文提出一种解耦动态滤波器(Decoupled Dynamic Filter),它可以同时解决上述缺陷。受启发于近期注意力的进展,DDF将深度动态滤波器解耦为空域与通道动态滤波器。该分解可以大大减少参数量,并将计算量限制在与深度卷积同等水平。同时,采用DDF替换分类网络中的标准卷积可以带来显著的性能提升。比如,ResNet50/101分别可以带来1.9%与1.3%的top1精度提升,且计算量近乎减半。在检测与联合上采样方面的实验同样证实了DDF上采样变种相比标准卷积的优异性。

本文所提DDF及其上采样变种DDF-Up具有以下几点优异属性:

Content-adaptive DDF提供了空间可变滤波器,这使得其具有内容自适应特性; Fast runtime DDF具有与深度卷积相近的计算量,因此它的推理速度要比标准卷积、动态滤波器更快; Smaller memory footprint DDF可以显著降低动态滤波器的内存占用,这使得我们可以采用DDF直接替换所有的标准卷积; Consistent performance improvements 采用DDF/DDF-Up替换标准卷积可以带来一致性的性能提升,同时在不同网络、不同任务上均取得了SOTA性能。

成为VIP会员查看完整内容
0
15

相关内容

由于物体的真实轮廓和遮挡边界之间通常没有区别,对高度重叠的对象进行分割是非常具有挑战性的。与之前的自顶向下的实例分割方法不同,本文提出遮挡感知下的双图层实例分割网络BCNet,将图像中的感兴趣区域(Region of Interest,RoI)建模为两个重叠图层,其中顶部图层检测遮挡对象,而底图层推理被部分遮挡的目标物体。双图层结构的显式建模自然地将遮挡和被遮挡物体的边界解耦,并在Mask预测的同时考虑遮挡关系的相互影响。作者在具有不同主干和网络层选择的One-stage和Two-stage目标检测器上验证了双层解耦的效果,显著改善了现有图像实例分割模型在处理复杂遮挡物体的表现,并在COCO和KINS数据集上均取得总体性能的大幅提升。

成为VIP会员查看完整内容
0
7

本文首次在全卷积目标检测器上去除了NMS(非极大值抑制)后处理,做到了端到端训练。我们分析了主流一阶段目标检测方法,并发现传统的一对多标签分配策略是这些方法依赖NMS的关键,并由此提出了预测感知的一对一标签分配策略。此外,为了提升一对一标签分配的性能,我们提出了增强特征表征能力的模块,和加速模型收敛的辅助损失函数。我们的方法在无NMS的情况下达到了与主流一阶段目标检测方法相当的性能。在密集场景上,我们的方法的召回率超过了依赖NMS的目标检测方法的理论上限。

成为VIP会员查看完整内容
0
20

本文提出一种新的卷积操作----动态区域注意卷积(DRConv: Dynamic Region-Aware Convolution),该卷积可以根据特征相似度为不同平面区域分配定制的卷积核。这种卷积方式相较于传统卷积极大地增强了对图像语义信息多样性的建模能力。标准卷积层可以增加卷积核的数量以提取更多的视觉元素,但会导致较高的计算成本。DRConv使用可学习的分配器将逐渐增加的卷积核转移到平面维度,这不仅提高了卷积的表示能力,而且还保持了计算成本和平移不变性。 图片 DRConv是一种用于处理语义信息分布复杂多变的有效而优雅的方法,它可以以其即插即用特性替代任何现有网络中的标准卷积,且对于轻量级网络的性能有显著提升。本文在各种模型(MobileNet系列,ShuffleNetV2等)和任务(分类,面部识别,检测和分割)上对DRConv进行了评估,在ImageNet分类中,基于DRConv的ShuffleNetV2-0.5×在46M计算量的水平下可实现67.1%的性能,相对基准提升6.3%。

https://www.zhuanzhi.ai/paper/5ab3f5fa3690be4e5e52724c176bc252

成为VIP会员查看完整内容
0
11

从全局到局部:面向视频动作分割的高效网络结构搜索

Global2Local: Efficient Structure Search for Video Action Segmentation

为了回答“是否可以通过高效地搜索不同感受野的之间的组合来替代手工设计的模式呢?”的问题,在本文中,我们提出一种基于从全局到局部的搜索策略来寻找更合适的感受野组合。具体而言,我们的搜索策略将利用全局搜索的优势来找到粗粒度的参数组合,而后在利用局部搜索来精细化感受野的组合模式。值得指出的是,全局搜索并非是通过手工设计模式来寻找潜在的粗粒度参数组合。在全局搜索的基础上,我们将会使用一种基于期望引导迭代的方式来有效地精修参数组合。最后,我们的这一结果可以即插即用地使用在当前动作分割的模型中,并取得了SOTA的效果。很快我们也将开源我们的代码实现。

https://www.zhuanzhi.ai/paper/984e0db8caf9022e6b67396d1d49ee1b

成为VIP会员查看完整内容
0
10

自监督学习已被广泛应用于从未标记图像中获取可转移的表示。特别是,最近的对比学习方法在下游图像分类任务中表现出了令人印象深刻的性能。这些对比方法主要集中在语义保留变换下的图像级上生成不变的全局表示,容易忽略局部表示的空间一致性,因此在目标检测和实例分割等本地化任务的预处理中存在一定的局限性。此外,在现有的对比方法中使用的积极裁剪视图可以最小化单个图像中语义不同区域之间的表示距离。

在本文中,我们提出了一种用于多目标和特定位置任务的空间一致表示学习算法(SCRL)。特别地,我们设计了一个新的自监督目标,试图根据几何平移和缩放操作产生随机裁剪局部区域的连贯空间表示。在使用基准数据集的各种下游定位任务上,提出的SCRL显示了相对于图像级监督前训练和最先进的自监督学习方法的显著性能改进。代码将会被发布。

https://www.zhuanzhi.ai/paper/86fc25415eef2e6e1ed9019494ce1fcf

成为VIP会员查看完整内容
0
25
小贴士
相关VIP内容
专知会员服务
20+阅读 · 4月5日
专知会员服务
11+阅读 · 4月2日
专知会员服务
25+阅读 · 3月12日
专知会员服务
24+阅读 · 3月6日
专知会员服务
7+阅读 · 1月27日
相关论文
Xiaotian Chen,Yuwang Wang,Xuejin Chen,Wenjun Zeng
0+阅读 · 6月15日
Invariant Information Bottleneck for Domain Generalization
Bo Li,Yifei Shen,Yezhen Wang,Wenzhen Zhu,Colorado J. Reed,Jun Zhang,Dongsheng Li,Kurt Keutzer,Han Zhao
0+阅读 · 6月14日
Chongzhi Zhang,Mingyuan Zhang,Shanghang Zhang,Daisheng Jin,Qiang Zhou,Zhongang Cai,Haiyu Zhao,Shuai Yi,Xianglong Liu,Ziwei Liu
0+阅读 · 6月14日
Arnaud Berny
0+阅读 · 6月13日
Azadeh Khaleghi,Gábor Lugosi
0+阅读 · 6月13日
Bokun Wang,Mher Safaryan,Peter Richtárik
0+阅读 · 6月7日
Lu Hou,Zhiqi Huang,Lifeng Shang,Xin Jiang,Xiao Chen,Qun Liu
7+阅读 · 2020年10月9日
Zhuohan Li,Eric Wallace,Sheng Shen,Kevin Lin,Kurt Keutzer,Dan Klein,Joseph E. Gonzalez
7+阅读 · 2020年6月23日
Yuxin Wu,Kaiming He
7+阅读 · 2018年3月22日
Top