Computer-Assisted Pronunciation Training (CAPT) plays an important role in language learning. However, conventional CAPT methods cannot effectively use non-native utterances for supervised training because the ground truth pronunciation needs expensive annotation. Meanwhile, certain undefined nonnative phonemes cannot be correctly classified into standard phonemes. To solve these problems, we use the vector-quantized variational autoencoder (VQ-VAE) to encode the speech into discrete acoustic units in a self-supervised manner. Based on these units, we propose a novel method that integrates both discriminative and generative models. The proposed method can detect mispronunciation and generate the correct pronunciation at the same time. Experiments on the L2-Arctic dataset show that the detection F1 score is improved by 9.58% relatively compared with recognition-based methods. The proposed method also achieves a comparable word error rate (WER) and the best style preservation for mispronunciation correction compared with text-to-speech (TTS) methods.


翻译:计算机辅助读音培训(CAPT)在语言学习中起着重要作用。然而,常规CAPT方法无法有效地使用非本地语言语言来指导性培训,因为地面真理读音需要昂贵的注解。 同时,某些未定义的非本地电话无法被正确分类到标准电话中。为了解决这些问题,我们使用矢量量化变异自动读数器(VQ-VAE),以自我监督的方式将语言编码为离散音元件。基于这些单元,我们提出了一种新颖的方法,既结合了歧视性模式,又结合了基因模型。拟议的方法可以同时检测错误发音并产生正确的发音。L2-Arctic数据集的实验显示,与基于识别的方法相比,检测F1的分数提高了9.58%。拟议方法还实现了可比较的字误差率(WER)和与文本到语音(TTSS)方法相比,对错误感应进行最佳风格的保存。

0
下载
关闭预览

相关内容

【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
已删除
将门创投
4+阅读 · 2018年7月31日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
动手写机器学习算法:异常检测 Anomaly Detection
七月在线实验室
11+阅读 · 2017年12月8日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
Learning Memory-guided Normality for Anomaly Detection
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
q-Space Novelty Detection with Variational Autoencoders
Arxiv
7+阅读 · 2018年3月19日
VIP会员
相关VIP内容
相关资讯
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
已删除
将门创投
4+阅读 · 2018年7月31日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
动手写机器学习算法:异常检测 Anomaly Detection
七月在线实验室
11+阅读 · 2017年12月8日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
Top
微信扫码咨询专知VIP会员