Very deep CNNs achieve state-of-the-art results in both computer vision and speech recognition, but are difficult to train. The most popular way to train very deep CNNs is to use shortcut connections (SC) together with batch normalization (BN). Inspired by Self- Normalizing Neural Networks, we propose the self-normalizing deep CNN (SNDCNN) based acoustic model topology, by removing the SC/BN and replacing the typical RELU activations with scaled exponential linear unit (SELU) in ResNet-50. SELU activations make the network self-normalizing and remove the need for both shortcut connections and batch normalization. Compared to ResNet- 50, we can achieve the same or lower (up to 4.5% relative) word error rate (WER) while boosting both training and inference speed by 60%-80%. We also explore other model inference optimization schemes to further reduce latency for production use.


翻译:非常深入的有线电视新闻网在计算机视觉和语音识别方面都取得了最先进的成果,但很难培训。最受欢迎的培训非常深入的有线电视网的方法是使用捷径连接(SC)和批量正常化(BN)。在自我正常化神经网络的启发下,我们建议采用基于深度有线电视新闻网(SNDCNNN)的声学模型表,删除SC/BN,用ResNet-50中的缩放指数线单元(SELU)取代典型的RELU激活。SELU激活使网络自我正常化,并消除快捷连接和批量正常化的需要。与ResNet-50相比,我们可以达到相同或较低的(相对4.5%)单词误差率(WER),同时将培训和推断速度提高60%-80%。我们还探索其他推论优化计划模式,以进一步减少生产用静脉。

0
下载
关闭预览

相关内容

【Facebook AI】低资源机器翻译,74页ppt
专知会员服务
29+阅读 · 2020年4月8日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
ResNet及其变种的结构梳理、有效性分析与代码解读
人工智能前沿讲习班
5+阅读 · 2019年6月26日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
一文道尽softmax loss及其变种
极市平台
14+阅读 · 2019年2月19日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
VIP会员
相关资讯
ResNet及其变种的结构梳理、有效性分析与代码解读
人工智能前沿讲习班
5+阅读 · 2019年6月26日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
一文道尽softmax loss及其变种
极市平台
14+阅读 · 2019年2月19日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员