Recent studies on compression of pretrained language models (e.g., BERT) usually use preserved accuracy as the metric for evaluation. In this paper, we propose two new metrics, label loyalty and probability loyalty that measure how closely a compressed model (i.e., student) mimics the original model (i.e., teacher). We also explore the effect of compression with regard to robustness under adversarial attacks. We benchmark quantization, pruning, knowledge distillation and progressive module replacing with loyalty and robustness. By combining multiple compression techniques, we provide a practical strategy to achieve better accuracy, loyalty and robustness.


翻译:最近关于压缩未受过训练的语言模型的研究(例如BERT)通常使用保存的准确性作为评价的衡量标准。在本文件中,我们提出了两个新的衡量标准,即标签忠诚度和概率忠诚度,以测量压缩模型(即学生)与原始模型(即教师)的相似程度。我们还探讨了压缩在对抗性攻击中对稳健性的影响。我们以量化、修剪、知识蒸馏和渐进式模块取代忠诚性和稳健性为基准。我们结合多种压缩技术,提供了实现更准确性、忠诚性和稳健性的实用战略。

0
下载
关闭预览

相关内容

预训练语言模型fine-tuning近期进展概述
专知会员服务
37+阅读 · 2021年4月9日
专知会员服务
60+阅读 · 2020年3月19日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
BERT 瘦身之路:Distillation,Quantization,Pruning
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
BERT相关论文、文章和代码资源汇总
AINLP
19+阅读 · 2018年11月17日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Compression of Deep Learning Models for Text: A Survey
Visualizing and Measuring the Geometry of BERT
Arxiv
7+阅读 · 2019年10月28日
Multiple Combined Constraints for Image Stitching
Arxiv
3+阅读 · 2018年9月18日
VIP会员
相关资讯
BERT 瘦身之路:Distillation,Quantization,Pruning
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
BERT相关论文、文章和代码资源汇总
AINLP
19+阅读 · 2018年11月17日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Top
微信扫码咨询专知VIP会员