Transformer秒杀CNN,凭什么?

2021 年 6 月 15 日 图与推荐

2020年起,最火的模型跨界,当属 Transformer跨界计算机视觉,实力冲击CNN。


Transformer为什么这么有实力?因为它在分类、检测等任务上展现了极其强劲的性能。而且骨干网络上的发展也推动了下游任务的发展,Swin Transformer更是成了屠榜般的存在,在工业界具有广阔的应用前景。所以引起了CV方向粉丝的强烈关注。


但要想啃透CV Transformer 难度不小一方面,Transformer本是应用于NLP的论文,其中很多内容都形成了共识,在论文中并不会去详细介绍这些共识内容,例如QKV是什么,embedding是什么等,对于其他方向的人看到这些就很难理解。

另一方面,近小半年,Transformer+CV的论文就已经有40多篇。学术研究更新之快,与脱发速度成正比

如果粉丝们想要系统且高效学习CV Transformer,我推荐大家参加深度之眼 【CV Transformer论文直播精讲】 

↓ 扫描下方二维码添加班主任 ↓

↓ 回复:CV 即可免费报名参加 ↓ 



↑ 班主任:加我进直播群、领取资料哦 ↑


早稻田博士带你学  节约21天论文学习时长

深度之眼黄老师结合自己工作及学习经验,并配合深度之眼教研团的打磨,总结出一条CV Transformer 的学习路径:


2场直播+录播  夯实 CV Transformer 基础


Step1:系统了解CV Transformer 技术演化路径及发展历史



Step2:精讲CV Transformer基石论文 — ViT


《An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale》简称ViT。ViT是Google在2020年提出的第一篇使用纯transformer来进行图片分类任务的论文,其价值在于展现了在CV中使用纯Transformer结构的可能性,后面很多的工作都基于ViT进行改进的


而且这个模型出来才半年多,github上ViT的repo就有很多了,基于tensorflow和pytorch的都有。star数目前已都是几千,可见影响力之大 。个人感觉ViT对之后的论文影响很大,很多论文都借鉴了VIT里面的相关做法。


深度之眼黄老师 将从 研究背景 到 算法模型,带你啃透ViT!


① 深挖研究背景 


提纲挚领,从4大维度介绍论文,深入讲解论文发表的研究背景、成果及意义,介绍论文中取得的核心成果,对比解决同一问题,已有解决方法和论文中提出的新的解决方法的优缺点,熟悉论文的整体思路和框架,建立对本篇论文的一个概貌性认识。



② 死磕算法模型


老师会重点讲解论文中的模型原理,深入拆解模型结构,对关键公式逐步推导,让你了解算法每一个因子是如何对结果产生影响的,掌握实验手段及结果,老师会帮你拎出论文中的关键点、创新点和启发点,节约你自己摸索的时间。



高手伴学 共同提升


· 3天高质量社群服务,导师全程陪伴

· 2场直播+录播,开启 CV— Transformer 新篇章

· 100+学员同群交流,学习经验up up⬆⬆⬆

· 助教24小时答疑,再也不怕debug

· 专属班主任私信督学,治疗学习拖延症


完课即赠价值298元学习大礼包


为了激励大家完成学习,我们还准备了价值298元的算法工程师面试锦囊。只要完成全部课程的学习,你就能私信班主任获取!



学员好评,真香!



这一次,我给粉丝们申请了50个直播福利名额参加即赠秘籍:《效率提升3倍的Paper阅读方法》。


↓ 扫描下方二维码添加班主任 ↓

↓ 回复:CV 即可免费报名参加 ↓ 



↑ 班主任:加我进直播群、领取资料哦 ↑

登录查看更多
1

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
29+阅读 · 2021年7月30日
万字综述,GNN在NLP中的应用,建议收藏慢慢看
专知会员服务
58+阅读 · 2021年6月22日
专知会员服务
44+阅读 · 2021年6月1日
专知会员服务
60+阅读 · 2021年2月16日
Transformer替代CNN?8篇论文概述最新进展!
专知会员服务
76+阅读 · 2021年1月19日
一份硬核计算机科学CS自学修炼计划
专知会员服务
43+阅读 · 2021年1月12日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
103+阅读 · 2020年8月30日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
用Transformer完全替代CNN
CVer
20+阅读 · 2020年10月23日
人工智能Paper精读班,视频讲解+代码实现
AINLP
17+阅读 · 2019年5月31日
10个项目给你答案,19年NLP为什么这么骚
PaperWeekly
34+阅读 · 2018年12月29日
入门 | 什么是自注意力机制?
机器之心
17+阅读 · 2018年8月19日
干货 | NLP中的self-attention【自-注意力】机制
机器学习算法与Python学习
12+阅读 · 2018年4月11日
一文读懂「Attention is All You Need」| 附代码实现
PaperWeekly
37+阅读 · 2018年1月10日
PyTorch 到底好用在哪里?
AI研习社
3+阅读 · 2017年10月27日
Arxiv
103+阅读 · 2021年6月8日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
9+阅读 · 2021年2月8日
Arxiv
19+阅读 · 2020年12月23日
Arxiv
23+阅读 · 2020年9月16日
Arxiv
15+阅读 · 2020年2月5日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
VIP会员
相关VIP内容
专知会员服务
29+阅读 · 2021年7月30日
万字综述,GNN在NLP中的应用,建议收藏慢慢看
专知会员服务
58+阅读 · 2021年6月22日
专知会员服务
44+阅读 · 2021年6月1日
专知会员服务
60+阅读 · 2021年2月16日
Transformer替代CNN?8篇论文概述最新进展!
专知会员服务
76+阅读 · 2021年1月19日
一份硬核计算机科学CS自学修炼计划
专知会员服务
43+阅读 · 2021年1月12日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
103+阅读 · 2020年8月30日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
相关资讯
用Transformer完全替代CNN
CVer
20+阅读 · 2020年10月23日
人工智能Paper精读班,视频讲解+代码实现
AINLP
17+阅读 · 2019年5月31日
10个项目给你答案,19年NLP为什么这么骚
PaperWeekly
34+阅读 · 2018年12月29日
入门 | 什么是自注意力机制?
机器之心
17+阅读 · 2018年8月19日
干货 | NLP中的self-attention【自-注意力】机制
机器学习算法与Python学习
12+阅读 · 2018年4月11日
一文读懂「Attention is All You Need」| 附代码实现
PaperWeekly
37+阅读 · 2018年1月10日
PyTorch 到底好用在哪里?
AI研习社
3+阅读 · 2017年10月27日
相关论文
Arxiv
103+阅读 · 2021年6月8日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
9+阅读 · 2021年2月8日
Arxiv
19+阅读 · 2020年12月23日
Arxiv
23+阅读 · 2020年9月16日
Arxiv
15+阅读 · 2020年2月5日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Top
微信扫码咨询专知VIP会员