Neural sequence-to-sequence TTS has demonstrated significantly better output quality over classical statistical parametric speech synthesis using HMMs. However, the new paradigm is not probabilistic and the use of non-monotonic attention both increases training time and introduces "babbling" failure modes that are unacceptable in production. In this paper, we demonstrate that the old and new paradigms can be combined to obtain the advantages of both worlds, by replacing the attention in Tacotron 2 with an autoregressive left-right no-skip hidden-Markov model defined by a neural network. This leads to an HMM-based neural TTS model with monotonic alignment, trained to maximise the full sequence likelihood without approximations. We discuss how to combine innovations from both classical and contemporary TTS for best results. The final system is smaller and simpler than Tacotron 2 and learns to align and speak with fewer iterations, while achieving the same speech naturalness. Unlike Tacotron 2, it also allows easy control over speaking rate. Audio examples and code are available at https://shivammehta007.github.io/Neural-HMM/


翻译:神经序列到序列 TTS 与 使用 HMMs 的典型的统计参数语言合成相比,显示了显著更好的产出质量。 但是,新的范式并不具有概率性,使用非分子注意力既增加了培训时间,又引入了生产中无法接受的“泡泡”失败模式。在本文中,我们证明旧的和新的范式可以把Tacotron 2的注意力结合起来,以获得两个世界的优势,办法是用神经网络定义的自动回归左右右无斯基普隐藏马科夫模式取代对TC2的注意力。这导致一个基于HMM的神经TS模型,具有单调调调,受过培训,可以使全序列的可能性最大化,而没有近似。我们讨论如何将传统TTS和当代TS的创新结合起来,以取得最佳结果。最后的系统比Tacotron 2 更小,更简单,并学会以较少的迭代词法,同时实现相同的语言自然性。Tacotron 2 也便于控制说话速度。在 https://shivammet.githubio/Hural/ 中可以找到音象示例和代码。

0
下载
关闭预览

相关内容

语音合成(Speech Synthesis),也称为文语转换(Text-to-Speech, TTS,它是将任意的输入文本转换成自然流畅的语音输出。语音合成涉及到人工智能、心理学、声学、语言学、数字信号处理、计算机科学等多个学科技术,是信息处理领域中的一项前沿技术。 随着计算机技术的不断提高,语音合成技术从早期的共振峰合成,逐步发展为波形拼接合成和统计参数语音合成,再发展到混合语音合成;合成语音的质量、自然度已经得到明显提高,基本能满足一些特定场合的应用需求。目前,语音合成技术在银行、医院等的信息播报系统、汽车导航系统、自动应答呼叫中心等都有广泛应用,取得了巨大的经济效益。 另外,随着智能手机、MP3、PDA 等与我们生活密切相关的媒介的大量涌现,语音合成的应用也在逐渐向娱乐、语音教学、康复治疗等领域深入。可以说语音合成正在影响着人们生活的方方面面。
专知会员服务
25+阅读 · 2021年4月2日
机器学习组合优化
专知会员服务
108+阅读 · 2021年2月16日
专知会员服务
82+阅读 · 2020年9月27日
ECCV 2020 五项大奖出炉!普林斯顿邓嘉获最佳论文奖
专知会员服务
17+阅读 · 2020年8月25日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
从2017年顶会论文看Attention Model
哈工大SCIR
9+阅读 · 2017年10月12日
论文共读 | Attention is All You Need
黑龙江大学自然语言处理实验室
14+阅读 · 2017年9月7日
语音识别之--扑朔迷“离”
微信AI
6+阅读 · 2017年8月9日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
语音识别之--韩语语音识别
微信AI
15+阅读 · 2017年8月2日
Attention is All You Need | 每周一起读
PaperWeekly
10+阅读 · 2017年6月28日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Arxiv
3+阅读 · 2018年11月13日
Arxiv
27+阅读 · 2017年12月6日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
从2017年顶会论文看Attention Model
哈工大SCIR
9+阅读 · 2017年10月12日
论文共读 | Attention is All You Need
黑龙江大学自然语言处理实验室
14+阅读 · 2017年9月7日
语音识别之--扑朔迷“离”
微信AI
6+阅读 · 2017年8月9日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
语音识别之--韩语语音识别
微信AI
15+阅读 · 2017年8月2日
Attention is All You Need | 每周一起读
PaperWeekly
10+阅读 · 2017年6月28日
Top
微信扫码咨询专知VIP会员