卷积越大性能越强！RepLKNet一作在线分享：Transformer阴影下的超大卷积核复兴

你有多久没调过 kernel size 了？在下游任务上，Transformer 明显优于传统 CNN，这是因为 Transformer 本质更强吗？传统堆叠大量 3x3 卷积的 CNN 设计模式是最优的吗？

最近，清华大学、旷视科技等机构的一项工作表明，CNN 中的 kernel size 其实是一个非常重要但总是被人忽略的设计维度：在现代模型设计的加持下，卷积核越大越暴力，既涨点又高效，甚至大到 31x31 都非常 work。即便在大体量下游任务上，超大卷积核模型 RepLKNet 与 Swin 等 Transformer 相比，性能也更好或相当。

论文地址： https://arxiv.org/abs/2203.06717

基于超大卷积核，一些挑战传统认知的结论逐渐浮现，例如：深度小kernel模型的有效感受野其实不大，较浅的大kernel模型有效感受野非常大且更像人类（模型的预测主要根据物体的形状而非局部的纹理）；Transformers 性能强悍可能不是因为Attention机制，而是因为大感受野……

在3月24日19:00-20:00的论文分享中，机器之心邀请到了 RepLKNet 论文一作、清华大学博士生丁霄汉为我们带来更深入的解读。

分享主题：RepLKNet：超大卷积核，大到31x31，卷积越大，性能越强

分享嘉宾：丁霄汉，清华大学博士生，旷视科技 Base Model 组实习生，研究方向为通用模型架构设计。在 CVPR 等会议上发表过一系列论文，提出了结构重参数化方法论及其若干应用，获得 GitHub 约 4000 Star。

分享摘要：RepLKNet 挑战了诸多行业内的传统认知，发现大到 31x31 的超大卷积核既涨点又高效，越大越涨点。归纳了在现代模型中应用大卷积的五条准则，如用小卷积核进行重参数化等。在此之上提出了一种新的架构 RepLKNet，在大模型和下游任务上取得了亮眼的结果，比 Swin 更好或相当，远超传统小 kernel 的 CNN。

分享时间：北京时间3月24日19:00-20:00

直播间：关注机动组视频号，北京时间3月24日开播。

交流群： 本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。

如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「卷积」即可加入。

机器之心 · 机动组 

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。 机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者 加入。

• 点击阅读原文，访问机动组官网，观看往期回顾；

• 关注机动组服务号，获取每周直播预告。