VIP内容
主题： A Survey of Methods for Model Compression in NLP
摘要： 近年来，基于Transformer的语言模型在神经机器翻译，自然语言推理和许多其他自然语言理解任务方面取得了实质性进展。 通过语言建模损失的变体进行自我监督的预训练意味着，在广泛的语料库上训练的模型可以提高在一系列任务上的下游性能。 但是，高参数数量和大计算量意味着BERT和友人的生产部署仍然很困难。 值得庆幸的是，在过去的两年中，已经开发出了多种技术来缓解疼痛并缩短预测时间。 特别是，本文重点介绍在基础模型预训练后应用的以下方法，以减少预测的计算成本：
- 数值精度降低
- 操作融合
- 修剪
- 知识蒸馏
- 模块更换
成为VIP会员查看完整内容
热门内容
最新内容
最新论文
Recently, the development of pre-trained language models has brought natural language processing (NLP) tasks to the new state-of-the-art. In this paper we explore the efficiency of various pre-trained language models. We pre-train a list of transformer-based models with the same amount of text and the same training steps. The experimental results shows that the most improvement upon the origin BERT is adding the RNN-layer to capture more contextual information for short text understanding.
