Previous studies have confirmed that by augmenting acoustic features with the place/manner of articulatory features, the speech enhancement (SE) process can be guided to consider the articulatory properties of the input speech when performing enhancement to attain performance improvements. Thus, the contextual information of articulatory attributes has additional information that can further benefit SE. This study proposed an SE system that improved performance by optimizing contextual articulatory information in enhanced speech through joint training of the SE model with an end-to-end automatic speech recognition (E2E-ASR) model and predicting the sequence of broad phone classes (BPCs) instead of the phoneme/word sequences. We developed two strategies to train the SE system based on BPC-based ASR: multi-task learning and deep-feature training strategies. Experimental results from speech denoising, speech dereverberation, and impaired speech enhancement tasks confirmed that the contextual articulatory information facilitates the SE system to improve enhancement results. Moreover, in contrast to another SE system trained with monophonic ASR, the BPC-based ASR (providing contextual articulatory information) can achieve superior SE performance at different signal-to-noise ratio (SNR) levels.
翻译：先前的研究证实,通过增加声学特征和动脉特征的定位/定位器的声学特征,可以引导语音增强过程在进行增强性能改进时,考虑输入语音的动脉特性,从而提高性能,因此,动脉属性的背景资料具有更多的信息,可以进一步有利于科学、科学、科学、科学、科学、科学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、艺术、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、艺术、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、文学、
相关内容
微信扫码咨询专知VIP会员