选哪一个?13个经典CNN架构比较分析!从AlexNet到ResNet再到ConvNeXt

2022 年 3 月 14 日 专知


涵盖所有13个CNN架构,包括摘要、代码实现、CNN注释的介绍,关于如何为给定的问题选择CNN架构的最小指南,以及学习CNN的进一步资源现在都是共享的,并且都是存储库的一部分。


卷积神经网络(卷积神经网络或cnn)是一类神经网络算法,主要用于图像分类、目标检测和图像分割等视觉识别任务。在视觉识别中使用卷积神经网络无疑是深度学习领域2010年代最重大的发明之一。


一个标准的ConvNet架构通常由3个主要层组成,分别是卷积层、最大池化层和全连接层。卷积层是卷积网络的主要组成部分。它们用于使用过滤器提取图像中的特征。


池化层用于对卷积层生成的激活或特征图进行下采样。下采样也可以通过在正常的卷积层中使用跨距(大于1)来实现,但最大池化层没有任何可学参数,而且它们引入了平移不变性,从而提高了空间诱导偏差代价下的模型泛化。全连接层用于分类目的(将学习到的特征与其各自的标签匹配)。在分类设置中,最后一个全连接层通常使用softmax激活功能激活!


遵循上述结构的ConvNets架构的例子是AlexNet和VGG。大多数现代的卷积网络架构已经超越了单纯的卷积堆栈、最大池化和全连接层。例如,像ResNet这样的架构和其他类似的网络都涉及到残差连接。


  • AlexNet

  • VGG

  • GoogLeNet

  • ResNet

  • ResNeXt

  • Xception

  • DenseNet

  • MobileNetV1&2

  • EfficientNet

  • RegNet

  • ConvMixer

  • ConvNeXt


如何选择适合你的CNN架构?


计算机视觉社区有幸拥有许多能够在许多平台或硬件上很好地工作的视觉架构。但是,有很多选项意味着很难选择适合给定问题的体系结构。如何为您的问题选择ConvNet架构?


第一条经验法则是,您不应该试图从头开始设计自己的架构。如果你正在处理一般问题,从ResNet-50开始不会有什么坏处。如果您正在构建一个计算资源有限的基于移动的可视化应用,请尝试MobileNets(或其他移动友好的架构,如ShuffleNetv2或ESPNetv2)。


为了更好地平衡准确性和计算效率,请尝试EfficientNet或最新的ConvNeXt!


也就是说,选择架构(或学习算法)并不是免费的午餐。没有通用的架构。没有一个单一的体系结构可以保证对所有的数据集和问题都有效。都是实验。这是所有努力!


如果你是一个梦想家,或者喜欢呆在这个领域的前沿,看看视觉Transformers吧! 我们还不知道,但它们可能是ConvNets的继承者!


https://github.com/Nyandwi/ModernConvNets



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CNNA” 就可以获取选哪一个?13个经典CNN架构比较分析!从AlexNet到ResNet再到ConvNeXt》专知下载链接

请扫码加入专知人工智能群(长按二维码),或者加专知小助手微信(zhuanzhi02),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG、论文等)交流~

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资源
登录查看更多
4

相关内容

13个经典CNN架构比较分析!从AlexNet到ResNet再到ConvNeXt
专知会员服务
100+阅读 · 2022年3月14日
【计算所&清华等新书】预训练方法信息检索,109页pdf
专知会员服务
64+阅读 · 2021年11月30日
专知会员服务
22+阅读 · 2021年7月15日
2021机器学习研究风向是啥?MLP→CNN→Transformer→MLP!
专知会员服务
65+阅读 · 2021年5月23日
专知会员服务
56+阅读 · 2021年2月12日
【NeurIPS 2020】图神经网络GNN架构设计
专知会员服务
79+阅读 · 2020年11月19日
【干货书】高级应用深度学习,294页pdf
专知会员服务
148+阅读 · 2020年6月20日
卷积神经网络的概述论文:分析、应用和展望,21页pdf
专知会员服务
89+阅读 · 2020年4月7日
实践教程 | CNN调优总结
极市平台
3+阅读 · 2022年2月10日
CNN、Transformer、MLP架构的经验性分析
极市平台
0+阅读 · 2022年1月1日
CNN网络结构的发展(最全整理)
极市平台
73+阅读 · 2019年11月2日
一文简述ResNet及其多种变体
机器之心
23+阅读 · 2018年4月22日
CapsNet入门系列之四:胶囊网络架构
论智
12+阅读 · 2018年2月23日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
19+阅读 · 2021年4月8日
Arxiv
17+阅读 · 2021年3月29日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
21+阅读 · 2018年8月30日
VIP会员
相关VIP内容
13个经典CNN架构比较分析!从AlexNet到ResNet再到ConvNeXt
专知会员服务
100+阅读 · 2022年3月14日
【计算所&清华等新书】预训练方法信息检索,109页pdf
专知会员服务
64+阅读 · 2021年11月30日
专知会员服务
22+阅读 · 2021年7月15日
2021机器学习研究风向是啥?MLP→CNN→Transformer→MLP!
专知会员服务
65+阅读 · 2021年5月23日
专知会员服务
56+阅读 · 2021年2月12日
【NeurIPS 2020】图神经网络GNN架构设计
专知会员服务
79+阅读 · 2020年11月19日
【干货书】高级应用深度学习,294页pdf
专知会员服务
148+阅读 · 2020年6月20日
卷积神经网络的概述论文:分析、应用和展望,21页pdf
专知会员服务
89+阅读 · 2020年4月7日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员