GAU-α:尝鲜体验快好省的下一代Attention

2022 年 4 月 27 日 PaperWeekly


©PaperWeekly 原创 · 作者 | 苏剑林
单位 | 追一科技
研究方向 | NLP、神经网络


FLASH:可能是近来最有意思的高效Transformer设计中,我们介绍了 GAU(Gated Attention Unit,门控线性单元),在这里笔者愿意称之为“目前最有潜力的下一代 Attention 设计”,因为它真正达到了“更快(速度)、更好(效果)、更省(显存)”的特点。 

然而,有些读者在自己的测试中得到了相反的结果,比如收敛更慢、效果更差等,这与笔者的测试结果大相径庭。本文就来分享一下笔者自己的训练经验,并且放出一个尝鲜版“GAU-α”供大家测试。

开源地址:

https://github.com/ZhuiyiTechnology/GAU-alpha




GAU-α

首先介绍一下开源出来的“GAU-α”在 CLUE 任务上的成绩单:


所有的模型都是 Base 版,上表显示的是 CLUE 任务上验证集上的结果,大家的运行方式和比较都是公平的,作为一个相对比较来说是合理的。另外,这里的 RoFormerV2* 并非RoFormerV2:自然语言理解的极限探索中的多任务版本,而是仅仅进行了 MLM 预训练的版本(该版本没开源),这样对比是因为 GAU-α 也仅仅进行了 MLM 预训练。

从表中可以看出,除了 WSC 这个数据量极少的“异类”外,GAU-α 在多数任务上都有优势,并且除了 WSC 外的平均成绩是最好的。其中,RoFormerV2* 与 GAU-α 的比较是最为公平的,因为它们的训练脚本、训练数据、整体结构都是一样的,唯一不同就是 GAU-α 是将 RoFormerV2* 中的 Attention+FFN 组合换成了两层 GAU,两者对比充分显示出了 GAU 设计“更好”的特点。

此外,我们在RoFormerV2:自然语言理解的极限探索介绍过 RoFormerV2 对结构进行了简化,从而获得更快的速度,具有同样整体结构的 GAU-α 也是如此,所以 GAU-α 的速度是比表中的 BERT、RoBERTa、RoFormer 都要快的,但平均效果却更胜一筹。更进一步的测试显示,当序列长度超过 512 时,GAU-α 的速度开始超过同样精简过的 RoFormerV2,并且显存占用更低,越长则对 GAU-α 更有利。



训练

现在介绍一下模型的训练细节,完整的代码已经开源到 Github 中,如有疑惑可以对照着代码来读。 

模型架构:GAU-α 就是将 RoFormerV2 的 Attention+FFN 换成了两层 GAU,在之前的文章中我们比较过两层 GAU 的计算量和参数量大致相当于 Attention+FFN 组合,所以这样的替换是合理的;RoFormerV2 的特点是保留了 Post Norm 结构,去掉了所有的 Bias 项,并且 Layer Norm 换成了 RMS Norm 的最简单变体,在 GAU-α 中也是如此。 

归一化:听说Attention与Softmax更配哦~中我们讨论过 Attention 的归一化问题,GAU-α 的 Attention 归一化选取了其中笔者自行提出的具有较好外推能力的熵不变性 Softmax(在 bert4keras 中暂称为 softmax_plus)。 

训练方式:在初始化方面笔者按照训练1000层的Transformer究竟有什么困难?进行了调整,因此无须 Wamrup 就可以直接训练,优化器用的是 LAMB,学习率分段线性衰减;预训练任务用的是全词 MLM,分词工具用百度的 LAC,这些跟 RoFormerV2 都是对齐的。好像值得一提的也就这么多了,确实没进行多大的改变。除了在归一化方式上花了点时间进行测试,其他方面也没多费时间,直接训练就得到了不错的效果。



小结

GAU 是笔者认为的“目前最有潜力的下一代 Attention 设计”,本文分享了 GAU 的一些训练经验,并开源了一个尝鲜版“GAU-α”。


送福利啦!


PaperWeekly独家周边盲盒

限量 200 份,免费包邮送

周边盲盒将随机掉落

众多读者要求返场的爆款贴纸

炼丹师必备超大鼠标垫

让你锦鲤护体的卡套组合


扫码回复「盲盒」 

立即免费参与领取 

👇👇👇



更多阅读




#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编




🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧



·

登录查看更多
0

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
专知会员服务
22+阅读 · 2021年9月20日
专知会员服务
21+阅读 · 2021年7月23日
Google-EfficientNet v2来了!更快,更小,更强!
专知会员服务
18+阅读 · 2021年4月4日
谷歌称之为“下一代 AI 框架”, Pathways 真有那么强吗?
夕小瑶的卖萌屋
0+阅读 · 2022年4月20日
听说Attention与Softmax更配哦~
PaperWeekly
0+阅读 · 2022年4月9日
RoFormerV2:自然语言理解的极限探索
PaperWeekly
0+阅读 · 2022年4月2日
FLASH:可能是近来最有意思的高效Transformer设计
PaperWeekly
0+阅读 · 2022年2月28日
聊一聊“超大模型”
夕小瑶的卖萌屋
1+阅读 · 2021年7月6日
一文读懂「Attention is All You Need」| 附代码实现
PaperWeekly
36+阅读 · 2018年1月10日
TensorFlow seq2seq中的Attention机制(续)
深度学习每日摘要
15+阅读 · 2017年11月16日
论文共读 | Attention is All You Need
黑龙江大学自然语言处理实验室
14+阅读 · 2017年9月7日
Attention is All You Need | 每周一起读
PaperWeekly
10+阅读 · 2017年6月28日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年6月22日
Arxiv
26+阅读 · 2021年5月17日
Arxiv
17+阅读 · 2019年4月5日
Arxiv
25+阅读 · 2017年12月6日
VIP会员
相关资讯
谷歌称之为“下一代 AI 框架”, Pathways 真有那么强吗?
夕小瑶的卖萌屋
0+阅读 · 2022年4月20日
听说Attention与Softmax更配哦~
PaperWeekly
0+阅读 · 2022年4月9日
RoFormerV2:自然语言理解的极限探索
PaperWeekly
0+阅读 · 2022年4月2日
FLASH:可能是近来最有意思的高效Transformer设计
PaperWeekly
0+阅读 · 2022年2月28日
聊一聊“超大模型”
夕小瑶的卖萌屋
1+阅读 · 2021年7月6日
一文读懂「Attention is All You Need」| 附代码实现
PaperWeekly
36+阅读 · 2018年1月10日
TensorFlow seq2seq中的Attention机制(续)
深度学习每日摘要
15+阅读 · 2017年11月16日
论文共读 | Attention is All You Need
黑龙江大学自然语言处理实验室
14+阅读 · 2017年9月7日
Attention is All You Need | 每周一起读
PaperWeekly
10+阅读 · 2017年6月28日
相关基金
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
相关论文
Arxiv
0+阅读 · 2022年6月22日
Arxiv
26+阅读 · 2021年5月17日
Arxiv
17+阅读 · 2019年4月5日
Arxiv
25+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员