The recently proposed Conformer architecture has shown state-of-the-art performances in Automatic Speech Recognition by combining convolution with attention to model both local and global dependencies. In this paper, we study how to reduce the Conformer architecture complexity with a limited computing budget, leading to a more efficient architecture design that we call Efficient Conformer. We introduce progressive downsampling to the Conformer encoder and propose a novel attention mechanism named grouped attention, allowing us to reduce attention complexity from $O(n^{2}d)$ to $O(n^{2}d / g)$ for sequence length $n$, hidden dimension $d$ and group size parameter $g$. We also experiment the use of strided multi-head self-attention as a global downsampling operation. Our experiments are performed on the LibriSpeech dataset with CTC and RNN-Transducer losses. We show that within the same computing budget, the proposed architecture achieves better performances with faster training and decoding compared to the Conformer. Our 13M parameters CTC model achieves competitive WERs of 3.6\%/9.0\% without using a language model and 2.7\%/6.7\% with an external n-gram language model on the test-clean/test-other sets while being 29\% faster than our CTC Conformer baseline at inference and 36\% faster to train.


翻译:最近提议的 Confred 架构显示自动语音识别的最新最新表现, 结合对本地和全球依赖性模型的关注, 展示了自动语音识别的最先进表现。 在本文中, 我们研究如何以有限的计算预算来降低 Confred 架构的复杂性, 从而导致一个更高效的架构设计, 我们称之为高效 Confred 。 我们向 Confred 编码编码器引入了渐进式的缩小抽样抽样, 并提议了一个名为群集关注的新关注机制, 使我们能够将关注的复杂程度从$O (n ⁇ 2d) 降低到 $O(n ⁇ 2}d/g) $( $)、 隐藏的维度($) 和群体大小参数 $( g $ ) 。 我们还在使用3. 6 Q. 7 和 CS. 6xxxxxxxx 进行竞争性的多头自省自省自闭式计算机模型, 而没有使用3. 0. 7 30 和 Con- case 测试, 我们用的是3. 3xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

2
下载
关闭预览

相关内容

【经典书】精通Linux,394页pdf
专知会员服务
92+阅读 · 2021年2月19日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
102+阅读 · 2020年8月30日
专知会员服务
118+阅读 · 2020年7月22日
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
已删除
将门创投
11+阅读 · 2019年4月26日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
Arxiv
4+阅读 · 2020年3月27日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Arxiv
3+阅读 · 2018年6月19日
VIP会员
相关资讯
已删除
将门创投
11+阅读 · 2019年4月26日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
Top
微信扫码咨询专知VIP会员