线上分享 | 超越卷积、自注意力：强大的神经网络新算子「内卷」解读

2021 年 4 月 16 日 机器之心

在神经网络架构的快速发展中，卷积始终是深度神经网络的核心组件。从技术角度来看，卷积核从经典图像滤波方法中汲取灵感，具有两个显著的特性，即空间不变性和通道特异性。

从效果来看，空间不变性可以实现参数共享和平移等变性，通道特异性允许卷积核收集不同通道中编码的多样化信息。但应看到，卷积并不完美，也存在着一些固有的缺陷。

一方面，尽管空间不变性与空间紧凑性的结合在提高效率和平移等变性方面发挥作用，但导致卷积核失去了适应不同空间位置多样化视觉模式的能力。局部性（locality）也限制了卷积的感受野，难以一次性地捕获长距离空间交互关系。另一方面，即使是很多成功的深度神经网络，其卷积滤波器内部也存在着明显的通道间冗余，导致我们有可能减少卷积核在不同通道中的特异性而不明显影响其表达能力。

针对这些问题，来自港科大、字节跳动 AI Lab 和北大的研究者提出了 involution，在设计上与卷积的特性相反，表现出通道不变性和空间特异性。实验结果表明，神经网络新算子 involution 的参数量和计算量降低，但性能反而提升了。involution 还可以在多种模型的不同位置替代卷积，并且替代的部分越多，模型性价比越高。论文已被 CVPR 2021 会议接收。

在机器之心最新一期的CVPR 2021论文线上分享中，我们邀请到了论文一作、港科大计算机系二年级研究生李铎为大家介绍神经网络新算子 involution 的技术细节。

欢迎大家报名参与，如有疑问可在 QA 环节与分享嘉宾交流。

主题：超越卷积、自注意力的神经网络新算子 involution

嘉宾简介： 李铎，香港科技大学计算机系二年级研究生，本科毕业于清华大学自动化系，曾于 ICCV、CVPR、ECCV 等国际计算机视觉顶会上发表论文 10 篇，还曾在英特尔、英伟达、商汤和字节跳动等公司实习。他还荣获了 2020 年度 CCF-CV 学术新锐奖。

分享摘要： 我们重新思考了卷积核在空间和通道维度的固有特性，即空间不变性和通道特异性。通过反转以上的两个设计准则，我们提出了一种新颖的神经网络算子 involution。另外，我们将最近应用广泛的自注意力操作作为一种复杂的特例归入了 involution 的范畴。我们提出的 involution 算子可以替代普通卷积来搭建新一代的视觉神经网络，在不同的视觉任务中支持多种深度学习模型，包括 ImageNet 图像分类、COCO 目标检测和实例分割以及 Cityscapes 语义分割。一系列实验结果表明，基于 involution 的深度神经网络相较于卷积神经网络模型，在上述任务中显著减少计算代价的同时能够提高识别性能。