会员服务
Bias项的神奇作用：RoPE + Bias = 更好的长度外推性
Bias项的神奇作用：RoPE + Bias = 更好的长度外推性
PaperWeekly
0+阅读 · 2023年4月7日
相对位置编码Transformer的一个理论缺陷与对策
相对位置编码Transformer的一个理论缺陷与对策
PaperWeekly
0+阅读 · 2022年6月29日
计算机视觉中的transformer模型创新思路总结
计算机视觉中的transformer模型创新思路总结
极市平台
0+阅读 · 2021年12月4日
北大联合UCLA发表论文：9头以上Transformer就能模拟CNN！
北大联合UCLA发表论文：9头以上Transformer就能模拟CNN！
极市平台
0+阅读 · 2021年11月7日
微软&中山大学开源超强的视觉位置编码，涨点显著
微软&中山大学开源超强的视觉位置编码，涨点显著
夕小瑶的卖萌屋
0+阅读 · 2021年8月10日
Transformer变体层出不穷，它们都长什么样？
Transformer变体层出不穷，它们都长什么样？
PaperWeekly
1+阅读 · 2021年2月26日
让研究人员绞尽脑汁的Transformer位置编码
让研究人员绞尽脑汁的Transformer位置编码
PaperWeekly
0+阅读 · 2021年2月24日
层次分解位置编码，让BERT可以处理超长文本
层次分解位置编码，让BERT可以处理超长文本
PaperWeekly
0+阅读 · 2020年12月20日
Attention增强的卷积网络
Attention增强的卷积网络
AINLP
0+阅读 · 2020年12月4日
Transformer中的相对位置编码
Transformer中的相对位置编码
AINLP
5+阅读 · 2020年11月28日
TUPE ：重新思考语言预训练中的位置编码
TUPE ：重新思考语言预训练中的位置编码
AINLP
0+阅读 · 2020年7月25日
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
AINLP
1+阅读 · 2020年4月2日
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
深度学习自然语言处理
0+阅读 · 2020年3月31日
ICLR 6-6-6！自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源
ICLR 6-6-6！自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源
CVer
0+阅读 · 2020年1月26日
ICLR 6-6-6！自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源
ICLR 6-6-6！自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源
量子位
2+阅读 · 2020年1月26日
参考链接
微信扫码咨询专知VIP会员
Top