Recently, attention-based encoder-decoder (AED) models have shown state-of-the-art performance in automatic speech recognition (ASR). As the original AED models with global attentions are not capable of online inference, various online attention schemes have been developed to reduce ASR latency for better user experience. However, a common limitation of the conventional softmax-based online attention approaches is that they introduce an additional hyperparameter related to the length of the attention window, requiring multiple trials of model training for tuning the hyperparameter. In order to deal with this problem, we propose a novel softmax-free attention method and its modified formulation for online attention, which does not need any additional hyperparameter at the training phase. Through a number of ASR experiments, we demonstrate the tradeoff between the latency and performance of the proposed online attention technique can be controlled by merely adjusting a threshold at the test phase. Furthermore, the proposed methods showed competitive performance to the conventional global and online attentions in terms of word-error-rates (WERs).


翻译:最近,基于关注的编码器-编码器(AED)模型在自动语音识别(ASR)中表现出了最先进的性能。由于最初的全球关注的AED模型无法进行在线推断,已经开发了各种在线关注计划,以减少ASR的延迟度,以便更好的用户经验。然而,传统软式软式在线关注方法的一个共同限制是,它们引入了与关注窗口长度有关的一个额外的超参数,要求为调整超参数进行多次示范培训。为了解决这一问题,我们提出了一种新的软式无关注方法及其经修改的在线关注配方,这在培训阶段不需要额外的超参数。通过一些ASR实验,我们通过仅仅调整测试阶段的阈值就可以控制拟议在线关注技术的延迟度和性能之间的权衡。此外,拟议方法显示,在语言率(WERs)方面,常规全球和在线关注的竞争性表现。

0
下载
关闭预览

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
注意力机制介绍,Attention Mechanism
专知会员服务
168+阅读 · 2019年10月13日
一文读懂Attention机制
机器学习与推荐算法
63+阅读 · 2020年6月9日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Simple Recurrent Unit For Sentence Classification
哈工大SCIR
6+阅读 · 2017年11月29日
TensorFlow seq2seq中的Attention机制(续)
深度学习每日摘要
15+阅读 · 2017年11月16日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
5+阅读 · 2017年9月8日
VIP会员
相关VIP内容
注意力机制介绍,Attention Mechanism
专知会员服务
168+阅读 · 2019年10月13日
Top
微信扫码咨询专知VIP会员