The discrepancy between the cost function used for training a speech enhancement model and human auditory perception usually makes the quality of enhanced speech unsatisfactory. Objective evaluation metrics which consider human perception can hence serve as a bridge to reduce the gap. Our previously proposed MetricGAN was designed to optimize objective metrics by connecting the metric with a discriminator. Because only the scores of the target evaluation functions are needed during training, the metrics can even be non-differentiable. In this study, we propose a MetricGAN+ in which three training techniques incorporating domain-knowledge of speech processing are proposed. With these techniques, experimental results on the VoiceBank-DEMAND dataset show that MetricGAN+ can increase PESQ score by 0.3 compared to the previous MetricGAN and achieve state-of-the-art results (PESQ score = 3.15).


翻译:用于培训增强语言能力模型的成本功能与人听觉认知之间的差别通常使强化语言质量不尽人意。客观评价指标认为人的看法可以因此作为缩小差距的桥梁。我们先前提议的MetriGAN设计的目的是通过将衡量标准与歧视者联系起来,优化客观衡量标准。由于在培训期间只需要目标评价职能的分数,因此这些衡量标准甚至可能是无差别的。在本研究中,我们建议采用MetriGAN+,其中提出三种包含语音处理域知识的培训技术。利用这些技术,语音银行-DEMAND数据集的实验结果表明,MetriGAN+可以将PESQ的得分比以前的MetriGAN增加0.3分,并实现最新结果(PESQ评分=3.15)。

0
下载
关闭预览

相关内容

语音增强是指当语音信号被各种各样的噪声干扰、甚至淹没后,从噪声背景中提取有用的语音信号,抑制、降低噪声干扰的技术。一句话,从含噪语音中提取尽可能纯净的原始语音。
专知会员服务
49+阅读 · 2021年4月24日
不可错过!华盛顿大学最新《生成式模型》课程,附PPT
专知会员服务
64+阅读 · 2020年12月11日
专知会员服务
53+阅读 · 2020年9月7日
MIT新书《强化学习与最优控制》
专知会员服务
279+阅读 · 2019年10月9日
SRGAN论文笔记
统计学习与视觉计算组
109+阅读 · 2018年4月12日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
8+阅读 · 2018年11月27日
Arxiv
4+阅读 · 2018年2月13日
VIP会员
相关资讯
SRGAN论文笔记
统计学习与视觉计算组
109+阅读 · 2018年4月12日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员