会员服务
Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构
CVPR 2023｜两行代码高效缓解视觉Transformer过拟合，美图&国科大联合提出正则化方法DropKey
CVPR 2023｜两行代码高效缓解视觉Transformer过拟合，美图&国科大联合提出正则化方法DropKey
机器之心
0+阅读 · 2023年4月10日
Bias项的神奇作用：RoPE + Bias = 更好的长度外推性
Bias项的神奇作用：RoPE + Bias = 更好的长度外推性
PaperWeekly
0+阅读 · 2023年4月7日
【AAAI2023】用单塔Transformer统一视觉语言表示空间
【AAAI2023】用单塔Transformer统一视觉语言表示空间
专知
1+阅读 · 2022年11月27日
注意力机制作用被高估了？苹果等机构新研究：把注意力矩阵替换成常数矩阵后，性能差异不大
注意力机制作用被高估了？苹果等机构新研究：把注意力矩阵替换成常数矩阵后，性能差异不大
量子位
0+阅读 · 2022年11月19日
强的离谱，Transformer 杀疯了！
强的离谱，Transformer 杀疯了！
PaperWeekly
0+阅读 · 2022年11月15日
【微软Sebastien Bubeck】Transformers with LEGO，最新报告
【微软Sebastien Bubeck】Transformers with LEGO，最新报告
专知
0+阅读 · 2022年11月9日
综述｜视觉Transformer在CV中的现状、趋势和未来方向
综述｜视觉Transformer在CV中的现状、趋势和未来方向
极市平台
4+阅读 · 2022年11月8日
DeepMind提出「算法蒸馏」：可探索的预训练强化学习Transformer
DeepMind提出「算法蒸馏」：可探索的预训练强化学习Transformer
极市平台
2+阅读 · 2022年11月3日
【2022新书】Transformer自然语言处理简介：用Hugging Face库和模型来解决问题，169页pdf
【2022新书】Transformer自然语言处理简介：用Hugging Face库和模型来解决问题，169页pdf
专知
7+阅读 · 2022年11月2日
再掀强化学习变革！DeepMind提出「算法蒸馏」：可探索的预训练强化学习Transformer
再掀强化学习变革！DeepMind提出「算法蒸馏」：可探索的预训练强化学习Transformer
新智元
0+阅读 · 2022年11月2日
回顾60多种transformer研究，一文总结遥感领域最新进展
回顾60多种transformer研究，一文总结遥感领域最新进展
极市平台
2+阅读 · 2022年11月1日
回顾60多种transformer研究，一文总结遥感领域最新进展
回顾60多种transformer研究，一文总结遥感领域最新进展
机器之心
2+阅读 · 2022年11月1日
NeurIPS 2022｜清华提出首个退化可感知的展开式Transformer
NeurIPS 2022｜清华提出首个退化可感知的展开式Transformer
极市平台
0+阅读 · 2022年10月26日
MetaFormer的视觉Baseline开源！颜水成团队再出马，顺带刷新ImageNet新记录！
MetaFormer的视觉Baseline开源！颜水成团队再出马，顺带刷新ImageNet新记录！
极市平台
0+阅读 · 2022年10月26日
ToMe：我的方法无需训练即可加速 ViT 模型｜搞懂Transformer系列
ToMe：我的方法无需训练即可加速 ViT 模型｜搞懂Transformer系列
极市平台
2+阅读 · 2022年10月25日
参考链接
父主题
机器学习
预训练语言模型
注意力机制
机器翻译
微信扫码咨询专知VIP会员
Top