We propose TalkNet, a non-autoregressive convolutional neural model for speech synthesis with explicit pitch and duration prediction. The model consists of three feed-forward convolutional networks. The first network predicts grapheme durations. An input text is expanded by repeating each symbol according to the predicted duration. The second network predicts pitch value for every mel frame. The third network generates a mel-spectrogram from the expanded text conditioned on predicted pitch. All networks are based on 1D depth-wise separable convolutional architecture. The explicit duration prediction eliminates word skipping and repeating. The quality of the generated speech nearly matches the best auto-regressive models - TalkNet trained on the LJSpeech dataset got MOS 4.08. The model has only 13.2M parameters, almost 2x less than the present state-of-the-art text-to-speech models. The non-autoregressive architecture allows for fast training and inference. The small model size and fast inference make the TalkNet an attractive candidate for embedded speech synthesis.


翻译:我们提议TalkNet, 这是一种非航空进化神经变异模型, 用于语音合成, 并配有清晰的音频和持续时间预测。 模型由三个进化前进进进化网络组成。 第一个网络预测了图形化持续时间。 一个输入文本根据预测的持续时间通过重复每个符号而扩大。 第二个网络预测每个模子框架的音值。 第三网络根据预测音频的扩大文本生成一个中位光谱。 所有网络都基于 1D 深度的相分离共变结构。 明确的持续时间预测消除了跳过和重复的单词。 生成的语音质量几乎与最佳自动递进化模型( LJSpeech 数据集培训的TalkNet) 的质量几乎匹配了 MOS 4. 08 。 这个模型只有13.2M 参数, 几乎比目前最先进的文本到语音模型的模型少2x。 非向导结构允许快速的培训和推断。 小型模型和快速推导使语音网成为了嵌式语音合成的有吸引力的候选者。

0
下载
关闭预览

相关内容

语音合成(Speech Synthesis),也称为文语转换(Text-to-Speech, TTS,它是将任意的输入文本转换成自然流畅的语音输出。语音合成涉及到人工智能、心理学、声学、语言学、数字信号处理、计算机科学等多个学科技术,是信息处理领域中的一项前沿技术。 随着计算机技术的不断提高,语音合成技术从早期的共振峰合成,逐步发展为波形拼接合成和统计参数语音合成,再发展到混合语音合成;合成语音的质量、自然度已经得到明显提高,基本能满足一些特定场合的应用需求。目前,语音合成技术在银行、医院等的信息播报系统、汽车导航系统、自动应答呼叫中心等都有广泛应用,取得了巨大的经济效益。 另外,随着智能手机、MP3、PDA 等与我们生活密切相关的媒介的大量涌现,语音合成的应用也在逐渐向娱乐、语音教学、康复治疗等领域深入。可以说语音合成正在影响着人们生活的方方面面。
简明扼要!Python教程手册,206页pdf
专知会员服务
48+阅读 · 2020年3月24日
专知会员服务
61+阅读 · 2020年3月19日
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Arxiv
5+阅读 · 2019年1月16日
VIP会员
相关VIP内容
简明扼要!Python教程手册,206页pdf
专知会员服务
48+阅读 · 2020年3月24日
专知会员服务
61+阅读 · 2020年3月19日
Top
微信扫码咨询专知VIP会员