尽管深度学习模型彻底改变了语音和音频处理领域,但它们迫使为个别任务和应用场景构建专家模型。深度神经模型也会在标记数据有限的方言和语言中遇到瓶颈。
自监督表示学习方法有望提供一个单一的通用模型,使一系列任务和领域受益。他们最近在NLP和计算机视觉领域取得了成功,达到了新的性能水平,同时减少了许多下游场景所需的标签。语音表征学习也有类似的进展,主要有三种类型:生成式、对比式和预测式。其他方法依赖于多模态数据进行训练前的预处理,将文本或视觉数据流与语音混合。虽然自我监督语音表示仍是一个新兴的研究领域,但它与声学词嵌入和零词汇资源学习密切相关。本教程将介绍自监督语音表征学习方法及其与相关研究领域的联系。由于目前的许多方法只将自动语音识别作为下游任务,我们将回顾最近对已学习的表示进行基准测试的努力,以扩展这种表示在语音识别之外的应用。本教程的实践部分将提供构建和评估语音表示模型的实际指导。
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“SL89” 就可以获取《【【李宏毅老师】自监督表示学习语音处理,附89页ppt与视频》专知下载链接