NLP:自然语言处理

VIP内容

主题: A Survey of Methods for Model Compression in NLP

摘要: 近年来,基于Transformer的语言模型在神经机器翻译,自然语言推理和许多其他自然语言理解任务方面取得了实质性进展。 通过语言建模损失的变体进行自我监督的预训练意味着,在广泛的语料库上训练的模型可以提高在一系列任务上的下游性能。 但是,高参数数量和大计算量意味着BERT和友人的生产部署仍然很困难。 值得庆幸的是,在过去的两年中,已经开发出了多种技术来缓解疼痛并缩短预测时间。 特别是,本文重点介绍在基础模型预训练后应用的以下方法,以减少预测的计算成本:

  • 数值精度降低
  • 操作融合
  • 修剪
  • 知识蒸馏
  • 模块更换

成为VIP会员查看完整内容
0
26

最新论文

Recently, the development of pre-trained language models has brought natural language processing (NLP) tasks to the new state-of-the-art. In this paper we explore the efficiency of various pre-trained language models. We pre-train a list of transformer-based models with the same amount of text and the same training steps. The experimental results shows that the most improvement upon the origin BERT is adding the RNN-layer to capture more contextual information for short text understanding.

0
0
下载
预览
Top