Voice cloning is the task of learning to synthesize the voice of an unseen speaker from a few samples. While current voice cloning methods achieve promising results in Text-to-Speech (TTS) synthesis for a new voice, these approaches lack the ability to control the expressiveness of synthesized audio. In this work, we propose a controllable voice cloning method that allows fine-grained control over various style aspects of the synthesized speech for an unseen speaker. We achieve this by explicitly conditioning the speech synthesis model on a speaker encoding, pitch contour and latent style tokens during training. Through both quantitative and qualitative evaluations, we show that our framework can be used for various expressive voice cloning tasks using only a few transcribed or untranscribed speech samples for a new speaker. These cloning tasks include style transfer from a reference speech, synthesizing speech directly from text, and fine-grained style control by manipulating the style conditioning variables during inference.


翻译:语音克隆是学习从几个样本中合成一个隐蔽的发言者的声音的任务。 虽然目前的语音克隆方法在文本到语音合成中为一个新声音取得令人乐观的成果, 但这种方法缺乏控制合成音频的表达性的能力。 在这项工作中,我们提议一种可控的语音克隆方法,使一个隐蔽的发言者能够对合成音频的不同风格进行精细的控制。 我们通过在培训期间将语音合成模型明确设置在发言者编码、 音高等和潜伏风格符号上来实现这一点。 我们通过定量和定性评估,表明我们的框架可用于执行各种表达式的语音克隆任务,而仅使用少数被转录或未被转录的语音样本为新发言者。 这些克隆任务包括参考语言的风格转换,直接从文本中合成语音,以及通过在推断过程中操纵调控变式变量来精细的风格控制。

0
下载
关闭预览

相关内容

语音合成(Speech Synthesis),也称为文语转换(Text-to-Speech, TTS,它是将任意的输入文本转换成自然流畅的语音输出。语音合成涉及到人工智能、心理学、声学、语言学、数字信号处理、计算机科学等多个学科技术,是信息处理领域中的一项前沿技术。 随着计算机技术的不断提高,语音合成技术从早期的共振峰合成,逐步发展为波形拼接合成和统计参数语音合成,再发展到混合语音合成;合成语音的质量、自然度已经得到明显提高,基本能满足一些特定场合的应用需求。目前,语音合成技术在银行、医院等的信息播报系统、汽车导航系统、自动应答呼叫中心等都有广泛应用,取得了巨大的经济效益。 另外,随着智能手机、MP3、PDA 等与我们生活密切相关的媒介的大量涌现,语音合成的应用也在逐渐向娱乐、语音教学、康复治疗等领域深入。可以说语音合成正在影响着人们生活的方方面面。
专知会员服务
55+阅读 · 2020年12月20日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
154+阅读 · 2020年5月26日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
已删除
将门创投
5+阅读 · 2018年11月15日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Arxiv
7+阅读 · 2018年9月27日
VIP会员
相关VIP内容
专知会员服务
55+阅读 · 2020年12月20日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
154+阅读 · 2020年5月26日
Top
微信扫码咨询专知VIP会员