We propose a novel neural model compression strategy combining data augmentation, knowledge transfer, pruning, and quantization for device-robust acoustic scene classification (ASC). Specifically, we tackle the ASC task in a low-resource environment leveraging a recently proposed advanced neural network pruning mechanism, namely Lottery Ticket Hypothesis (LTH), to find a sub-network neural model associated with a small amount non-zero model parameters. The effectiveness of LTH for low-complexity acoustic modeling is assessed by investigating various data augmentation and compression schemes, and we report an efficient joint framework for low-complexity multi-device ASC, called Acoustic Lottery. Acoustic Lottery could compress an ASC model over $1/10^{4}$ and attain a superior performance (validation accuracy of 74.01% and Log loss of 0.76) compared to its not compressed seed model. All results reported in this work are based on a joint effort of four groups, namely GT-USTC-UKE-Tencent, aiming to address the "Low-Complexity Acoustic Scene Classification (ASC) with Multiple Devices" in the DCASE 2021 Challenge Task 1a.


翻译:我们提出了一个新颖的神经模型压缩战略,其中结合了数据增强、知识转移、剪裁和测量设备-气压声学场景分类(ASC ) 。 具体地说,我们在低资源环境中利用最近提出的先进神经网络运行机制(即Lottery Ticket Hypothes(LTH)),在低资源环境中处理ASC任务,以便找到一个小量非零模型参数相关的子网络神经模型。通过调查各种数据增强和压缩计划,评估低兼容性声学模型LTH的效力。我们报告了一个低兼容性多功能低联合框架,称为Acoucistic Lotry。 听觉彩票可以压缩1/10+4美元以上的ASC模型,并取得优异性性性表现(校验率精确率为74.01%,日志损失为0.76美元,与其非压缩种子模型相比。 这项工作上报告的所有结果都基于四组的联合努力,即GT-USTC-UKE-ENent,目的是解决“D-Com-comliclicity Astable 1 Clistristrational Acal”的DC-Sex Acal 20-CA 20-Sex Astistristristration。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
专知会员服务
31+阅读 · 2021年6月12日
专知会员服务
60+阅读 · 2020年3月19日
已删除
将门创投
11+阅读 · 2019年7月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Arxiv
20+阅读 · 2020年6月8日
SlowFast Networks for Video Recognition
Arxiv
19+阅读 · 2018年12月10日
VIP会员
相关VIP内容
专知会员服务
31+阅读 · 2021年6月12日
专知会员服务
60+阅读 · 2020年3月19日
相关资讯
已删除
将门创投
11+阅读 · 2019年7月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Top
微信扫码咨询专知VIP会员