【ECCV2022】UniNet:具有卷积、Transformer和MLP的统一架构搜索

2022 年 7 月 15 日 专知


近年来,transformer和多层感知器(MLP)架构在各种视觉任务中取得了令人印象深刻的成果。然而,如何有效地将这些运算符组合在一起,形成高性能的混合视觉架构仍然是一个挑战。在这项工作中,我们通过提出一种新的统一架构搜索方法来研究卷积、transformer和MLP的可学习组合。我们的方法包含两个关键设计来实现对高性能网络的搜索。首先,我们以统一的形式对不同的可搜索运算符进行建模,从而使这些运算符可以用相同的一组配置参数来表征。这样,整体搜索空间的大小大大降低,总搜索成本变得可以承受。其次,我们提出了上下文感知下采样模块(DSMs),以减轻不同类型操作之间的差距。我们提出的DSM能够更好地适应不同类型运算符的特征,这对于识别高性能混合架构非常重要。最后,我们将可配置算子和DSM集成到一个统一的搜索空间中,并使用基于强化学习的搜索算法进行搜索,以充分探索这些算子的最优组合。为此,我们搜索了一个基线网络,并将其扩大,得到了一个名为UniNets的模型家族,它比以前的ConvNets和transformer取得了更好的精度和效率。特别地,我们的UniNet-B5在ImageNet上实现了84.9%的top-1准确率,比efficient - net - b7和BoTNet-T7分别减少了44%和55%的失败。通过在ImageNet-21K上进行预训练,我们的UniNet-B6达到87.4%,性能优于Swin-L,失败次数减少51%,参数减少41%。代码可以在https://github.com/Sense-X/UniNet上找到。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“UNET” 就可以获取【ECCV2022】UniNet:具有卷积、Transformer和MLP的统一架构搜索》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
0

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【ICML2022】在线决策Transformer
专知会员服务
33+阅读 · 2022年7月27日
【Google AI-Yi Tay】Transformer记忆为可微搜索索引”(DSI)
专知会员服务
9+阅读 · 2022年3月4日
专知会员服务
15+阅读 · 2021年9月15日
专知会员服务
33+阅读 · 2021年8月16日
专知会员服务
26+阅读 · 2021年8月13日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
【KDD2022】自监督超图Transformer推荐系统
专知
1+阅读 · 2022年8月1日
【ICML2022】时序自监督视频transformer
专知
1+阅读 · 2022年7月28日
【ICML2022】在线决策Transformer
专知
2+阅读 · 2022年7月27日
图时卷积神经网络:架构与理论分析
专知
0+阅读 · 2022年7月3日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年9月14日
Arxiv
0+阅读 · 2022年9月9日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
27+阅读 · 2021年5月17日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
15+阅读 · 2020年2月5日
SlowFast Networks for Video Recognition
Arxiv
19+阅读 · 2018年12月10日
VIP会员
相关VIP内容
【ICML2022】在线决策Transformer
专知会员服务
33+阅读 · 2022年7月27日
【Google AI-Yi Tay】Transformer记忆为可微搜索索引”(DSI)
专知会员服务
9+阅读 · 2022年3月4日
专知会员服务
15+阅读 · 2021年9月15日
专知会员服务
33+阅读 · 2021年8月16日
专知会员服务
26+阅读 · 2021年8月13日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2022年9月14日
Arxiv
0+阅读 · 2022年9月9日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
27+阅读 · 2021年5月17日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
15+阅读 · 2020年2月5日
SlowFast Networks for Video Recognition
Arxiv
19+阅读 · 2018年12月10日
Top
微信扫码咨询专知VIP会员