最新《Transformers》报告,Google Lucas Beyer 报告, 附Slides与视频

2022 年 9 月 13 日 专知

本次演讲将讨论通过大规模的预训练和少样本迁移来学习一般的视觉表示,特别关注Vision Transformer (ViT)架构,它将transformers推广到视觉领域。

Transformer模型架构最近引起了极大的兴趣,因为它们在语言、视觉和强化学习等领域的有效性。 例如,在自然语言处理领域, Transformer 已经成为现代深度学习堆栈中不可缺少的主要部分。 最近, 提出 的令人眼花缭乱的X-former模型如Linformer, Performer, Longformer等这些都改进了原始Transformer架构的X-former模型,其中许多改进了计算和内存效率。 为了帮助热心的研究人员在这一混乱中给予指导,本文描述了大量经过深思熟虑的最新高效X-former模型的选择,提供了一个跨多个领域的现有工作和模型的有组织和全面的概述。
关键词 :深度学习,自然语言处理,Transformer模型,注意力模型
https://www.zhuanzhi.ai/paper/39a97bd373cc6f37c6b2e9026f3422e8



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“TR35” 就可以获取最新《Transformers》报告,Google Lucas Beyer 报告》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
1

相关内容

最新《Transformers》报告,Google Lucas Beyer 报告
专知会员服务
67+阅读 · 2022年9月13日
【Google】高效Transformer综述,Efficient Transformers: A Survey
专知会员服务
65+阅读 · 2022年3月17日
【Google AI-Yi Tay】Transformer记忆为可微搜索索引”(DSI)
专知会员服务
9+阅读 · 2022年3月4日
最新《自监督表示学习》报告,70页ppt
专知会员服务
85+阅读 · 2020年12月22日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
102+阅读 · 2020年7月22日
《自监督学习》最新报告,45页ppt
专知
1+阅读 · 2022年9月14日
自然语言处理(NLP)前沿进展报告(PPT下载)
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
35+阅读 · 2022年3月14日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
19+阅读 · 2020年12月23日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员