会员服务
为什么Pre Norm的效果不如Post Norm？
为什么Pre Norm的效果不如Post Norm？
PaperWeekly
0+阅读 · 2022年5月1日
RealFormer：把残差转移到Attention矩阵上面去
RealFormer：把残差转移到Attention矩阵上面去
PaperWeekly
1+阅读 · 2020年12月29日
把Transformer加深几倍，会怎么样？
把Transformer加深几倍，会怎么样？
AI科技评论
1+阅读 · 2020年8月29日
【经典精读】Transformer模型深度解读
【经典精读】Transformer模型深度解读
AINLP
0+阅读 · 2020年7月28日
【经典精读】Transformer模型深度解读
【经典精读】Transformer模型深度解读
深度学习自然语言处理
0+阅读 · 2020年7月27日
【ICML 2020】设置LayerNorm使Transformer加速收敛
【ICML 2020】设置LayerNorm使Transformer加速收敛
专知
0+阅读 · 2020年7月27日
ICML 2020 | 摆脱warm-up！巧置LayerNorm使Transformer加速收敛
ICML 2020 | 摆脱warm-up！巧置LayerNorm使Transformer加速收敛
微软研究院AI头条
2+阅读 · 2020年7月24日
GPT-2 论文+代码笔记
GPT-2 论文+代码笔记
AINLP
4+阅读 · 2020年7月3日
【ICLR2020】胶囊与反向路由点积注意力
【ICLR2020】胶囊与反向路由点积注意力
专知
0+阅读 · 2020年2月15日
基于Conditional Layer Normalization的条件文本生成
基于Conditional Layer Normalization的条件文本生成
PaperWeekly
3+阅读 · 2019年12月27日
如何区分并记住常见的几种 Normalization 算法
如何区分并记住常见的几种 Normalization 算法
极市平台
19+阅读 · 2019年7月24日
[DLdigest-14] 罗马的转世
[DLdigest-14] 罗马的转世
深度学习每日摘要
0+阅读 · 2017年11月29日
技术交流社区已上线
技术交流社区已上线
深度学习每日摘要
2+阅读 · 2017年11月20日
[DLdigest-11] 每日一道算法
[DLdigest-11] 每日一道算法
深度学习每日摘要
0+阅读 · 2017年11月16日
[DLdigest-6] 每日一道算法
[DLdigest-6] 每日一道算法
深度学习每日摘要
0+阅读 · 2017年10月29日
参考链接
微信扫码咨询专知VIP会员
Top