A key task for speech recognition systems is to reduce the mismatch between training and evaluation data that is often attributable to speaker differences. Speaker adaptation techniques play a vital role to reduce the mismatch. Model-based speaker adaptation approaches often require sufficient amounts of target speaker data to ensure robustness. When the amount of speaker level data is limited, speaker adaptation is prone to overfitting and poor generalization. To address the issue, this paper proposes a full Bayesian learning based DNN speaker adaptation framework to model speaker-dependent (SD) parameter uncertainty given limited speaker specific adaptation data. This framework is investigated in three forms of model based DNN adaptation techniques: Bayesian learning of hidden unit contributions (BLHUC), Bayesian parameterized activation functions (BPAct), and Bayesian hidden unit bias vectors (BHUB). In the three methods, deterministic SD parameters are replaced by latent variable posterior distributions for each speaker, whose parameters are efficiently estimated using a variational inference based approach. Experiments conducted on 300-hour speed perturbed Switchboard corpus trained LF-MMI TDNN/CNN-TDNN systems suggest the proposed Bayesian adaptation approaches consistently outperform the deterministic adaptation on the NIST Hub5'00 and RT03 evaluation sets. When using only the first five utterances from each speaker as adaptation data, significant word error rate reductions up to 1.4% absolute (7.2% relative) were obtained on the CallHome subset. The efficacy of the proposed Bayesian adaptation techniques is further demonstrated in a comparison against the state-of-the-art performance obtained on the same task using the most recent systems reported in the literature.


翻译:语音识别系统的一项关键任务是减少培训与评价数据之间的不匹配,这种不匹配往往归因于演讲者的差异; 演讲者适应技术对于减少不匹配性起着关键作用; 示范性演讲者适应方法往往需要足够数量的目标演讲者数据以确保稳健性。 当演讲者一级的数据数量有限时,演讲者适应性容易过大,而且一般化程度差。 为了解决这个问题,本文件提议一个完全基于Bayesian学习的基于DNN 的DN 演讲者参数调适框架,以适用于以演讲者为主的模范(SD)参数不确定性,因为演讲者的具体适应数据有限。 这个框架以三种模式为基础的DNNNN适应技术:Bayesian学习隐藏单位贡献(BLHUC)、BESian参数化激活功能(BPAcase)和Bayesian最近隐藏单位偏差矢量矢量值矢量。 在三种方法中,威慑性自定义性自定义的自定义自定义的自定义的自定义自定义自定义自定义自定义自定义自定义自定义自定义的自定义自定义自定义自定义自定义自定义自定义自定义自定义自定义自定义的自定义自定义的自定义自定义自定义自定义的自定义自定义的自定义的自定义自定义自定义的系统系统系统,仅自定义的自定义的自定义自定义的自定义的自定义自定义的自定义的自定义的自定义自定义的自定义的自定义的自定义自定义的自定义的自定义的自定义的自定义的自定义的自定义的自定义自定义自定义的自制的自定义的自制的自定义的自制的自制式路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路路段路段路路路段)系统系统系统路路路路路路路路路路路段路段路段路路路路路路路路路路路路路路路路路路路由路段路路路路路路路路路路路路路路路路路路路路路路路路

0
下载
关闭预览

相关内容

神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
Text analysis and deep learning: A network approach
Arxiv
1+阅读 · 2021年10月8日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
Arxiv
5+阅读 · 2020年6月16日
Arxiv
17+阅读 · 2019年3月28日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关资讯
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
相关论文
Text analysis and deep learning: A network approach
Arxiv
1+阅读 · 2021年10月8日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
Arxiv
5+阅读 · 2020年6月16日
Arxiv
17+阅读 · 2019年3月28日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
8+阅读 · 2018年5月15日
Top
微信扫码咨询专知VIP会员