Time masking has become a de facto augmentation technique for speech and audio tasks, including automatic speech recognition (ASR) and audio classification, most notably as a part of SpecAugment. In this work, we propose SpliceOut, a simple modification to time masking which makes it computationally more efficient. SpliceOut performs comparably to (and sometimes outperforms) SpecAugment on a wide variety of speech and audio tasks, including ASR for seven different languages using varying amounts of training data, as well as on speech translation, sound and music classification, thus establishing itself as a broadly applicable audio augmentation method. SpliceOut also provides additional gains when used in conjunction with other augmentation techniques. Apart from the fully-supervised setting, we also demonstrate that SpliceOut can complement unsupervised representation learning with performance gains in the semi-supervised and self-supervised settings.


翻译:在这项工作中,我们提议对时间掩码进行简单的修改,使其在计算上更有效率。 SpliceOut在广泛的语音和音频任务方面表现得与(有时甚至优于)Spection相似,包括使用不同数量的培训数据对七种不同语言的ASR进行扩增,以及语音翻译、声音和音乐分类,从而确立自己为广泛适用的音频扩增方法。 SpliceOut在与其他扩增技术一起使用时还带来额外收益。除了完全监督的环境外,我们还表明SpliceOut可以在半监督和自我监督的环境中以业绩增益来补充无监督的表述学习。

0
下载
关闭预览

相关内容

边缘机器学习,21页ppt
专知会员服务
81+阅读 · 2021年6月21日
【耶鲁】数据结构与编程技术,656页pdf
专知会员服务
55+阅读 · 2021年4月26日
【哥伦比亚大学】金融大数据与人工智能,90页PPT
专知会员服务
58+阅读 · 2020年12月27日
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
计算机视觉最佳实践、代码示例和相关文档
专知会员服务
17+阅读 · 2019年10月9日
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
On Feature Normalization and Data Augmentation
Arxiv
15+阅读 · 2020年2月25日
Fast AutoAugment
Arxiv
5+阅读 · 2019年5月1日
Arxiv
7+阅读 · 2018年1月30日
VIP会员
相关VIP内容
相关资讯
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Top
微信扫码咨询专知VIP会员