会员服务
Bias项的神奇作用：RoPE + Bias = 更好的长度外推性
Bias项的神奇作用：RoPE + Bias = 更好的长度外推性
PaperWeekly
0+阅读 · 2023年4月7日
Transformer变体层出不穷，它们都长什么样？
Transformer变体层出不穷，它们都长什么样？
PaperWeekly
1+阅读 · 2021年2月26日
ICLR 6-6-6！自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源
ICLR 6-6-6！自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源
CVer
0+阅读 · 2020年1月26日
让研究人员绞尽脑汁的Transformer位置编码
让研究人员绞尽脑汁的Transformer位置编码
PaperWeekly
0+阅读 · 2021年2月24日
Attention增强的卷积网络
Attention增强的卷积网络
AINLP
0+阅读 · 2020年12月4日
Transformer-XL：释放注意力模型的潜力
Transformer-XL：释放注意力模型的潜力
谷歌开发者
31+阅读 · 2019年2月19日
微软&中山大学开源超强的视觉位置编码，涨点显著
微软&中山大学开源超强的视觉位置编码，涨点显著
夕小瑶的卖萌屋
0+阅读 · 2021年8月10日
计算机视觉中的transformer模型创新思路总结
计算机视觉中的transformer模型创新思路总结
极市平台
0+阅读 · 2021年12月4日
无所不能的Self-Attention！洛桑理工ICLR2020论文验证「自注意力可以表达任何CNN卷积滤波层」
无所不能的Self-Attention！洛桑理工ICLR2020论文验证「自注意力可以表达任何CNN卷积滤波层」
专知
24+阅读 · 2020年1月12日
谷歌升级版Transformer官方解读：更大、更强，解决长文本问题（开源）
谷歌升级版Transformer官方解读：更大、更强，解决长文本问题（开源）
新智元
19+阅读 · 2019年1月30日
Transformer中的相对位置编码
Transformer中的相对位置编码
AINLP
5+阅读 · 2020年11月28日
层次分解位置编码，让BERT可以处理超长文本
层次分解位置编码，让BERT可以处理超长文本
PaperWeekly
0+阅读 · 2020年12月20日
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
深度学习自然语言处理
0+阅读 · 2020年3月31日
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
AINLP
1+阅读 · 2020年4月2日
ICLR 6-6-6！自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源
ICLR 6-6-6！自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源
量子位
2+阅读 · 2020年1月26日
参考链接
微信扫码咨询专知VIP会员
Top