会员服务
BERT · 迁移学习 · 机器学习 · 预训练语言模型 · 人工智能 ·
2019 年 11 月 22 日
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

论文题目： Pruning a BERT-based Question Answering Model

论文摘要： 我们研究了通过从基本的BERT模型中剪除参数来压缩基于BERT的问答系统。我们从为2.0小队训练的模型开始，引入允许变压器的选定部分被单独消除的门。具体来说，我们研究：（1）减少每个变压器中的注意头数目，（2）减少每个变压器的前向子层的中间宽度，以及（3）减少嵌入尺寸。我们比较了几种确定这些阈值的方法。我们发现剪枝注意头和前馈层的结合几乎使解码速度加倍，只有1.5f点的精度损失。

作者介绍： Jeffrey McCarley，IBM T.J.沃森研究中心

成为VIP会员查看完整内容
https://openreview.net/forum?id=SJlPOCEKvH
29

相关内容

BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。
基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search
基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search
专知会员服务
30+阅读 · 2020年5月20日
【ACL2020】DeeBERT:动态加速BERT推理，DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
【ACL2020】DeeBERT:动态加速BERT推理，DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
专知会员服务
20+阅读 · 2020年4月30日
【SIGIR2020-斯坦福大学】一种新的又好又快的BERT类信息检索模型-ColBERT
【SIGIR2020-斯坦福大学】一种新的又好又快的BERT类信息检索模型-ColBERT
专知会员服务
43+阅读 · 2020年4月28日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
23+阅读 · 2020年4月13日
【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT
【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT
专知会员服务
12+阅读 · 2020年4月9日
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
专知会员服务
35+阅读 · 2020年3月11日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
24+阅读 · 2019年12月26日
【机器学习论文推荐】EfficientNet:卷积神经网络的再思考模型缩放（EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks）
【机器学习论文推荐】EfficientNet:卷积神经网络的再思考模型缩放（EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks）
专知会员服务
16+阅读 · 2019年12月24日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
23+阅读 · 2019年12月21日
【NLP| 推荐文章】知识图谱问答系统的神经网络方法介绍（Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs）
专知会员服务
57+阅读 · 2019年11月24日
基于知识蒸馏的BERT模型压缩
基于知识蒸馏的BERT模型压缩
大数据文摘
18+阅读 · 2019年10月14日
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
专知
31+阅读 · 2019年10月6日
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
专知
36+阅读 · 2019年9月29日
【EMNLP2019】最新5篇论文推荐，BERT，对话系统，知识图谱，注意力机制等
【EMNLP2019】最新5篇论文推荐，BERT，对话系统，知识图谱，注意力机制等
专知
32+阅读 · 2019年8月17日
谷歌提出新型卷积网络EfficientNet：推理速度提升5.1倍，参数减少88%（附论文&代码）
谷歌提出新型卷积网络EfficientNet：推理速度提升5.1倍，参数减少88%（附论文&代码）
THU数据派
6+阅读 · 2019年6月9日
ACL 2019 | 基于知识增强的语言表示模型，多项NLP任务表现超越BERT
ACL 2019 | 基于知识增强的语言表示模型，多项NLP任务表现超越BERT
PaperWeekly
8+阅读 · 2019年6月3日
推理速度提升5.1倍，参数减少88%：谷歌提出新型卷积网络EfficientNet（附代码）
推理速度提升5.1倍，参数减少88%：谷歌提出新型卷积网络EfficientNet（附代码）
机器之心
6+阅读 · 2019年5月31日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
29+阅读 · 2019年3月30日
BERT霸榜问答任务，谷歌新基准模型缩小AI与人类差距50%
BERT霸榜问答任务，谷歌新基准模型缩小AI与人类差距50%
未来产业促进会
4+阅读 · 2019年1月31日
模型大小缩小75%，TensorFlow推出模型优化工具包
模型大小缩小75%，TensorFlow推出模型优化工具包
论智
7+阅读 · 2018年9月19日
Span-based Joint Entity and Relation Extraction with Transformer Pre-training
Arxiv
7+阅读 · 2019年9月17日
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
Arxiv
3+阅读 · 2019年9月12日
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Arxiv
3+阅读 · 2019年5月28日
A BERT Baseline for the Natural Questions
Arxiv
8+阅读 · 2019年3月21日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
14+阅读 · 2018年10月11日
QuAC : Question Answering in Context
QuAC : Question Answering in Context
Arxiv
4+阅读 · 2018年8月21日
Graph-based Filtering of Out-of-Vocabulary Words for Encoder-Decoder Models
Arxiv
4+阅读 · 2018年5月28日
Differential Attention for Visual Question Answering
Arxiv
5+阅读 · 2018年4月3日
Dual Recurrent Attention Units for Visual Question Answering
Arxiv
7+阅读 · 2018年2月1日
Towards Understanding and Answering Multi-Sentence Recommendation Questions on Tourism
Arxiv
15+阅读 · 2018年1月5日
VIP会员
相关主题
BERT
迁移学习
机器学习
预训练语言模型
人工智能
相关VIP内容
基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search
基于Transformer嵌入模型的个性化产品搜索，A Transformer-based Embedding Model for Personalized Product Search
专知会员服务
30+阅读 · 2020年5月20日
【ACL2020】DeeBERT:动态加速BERT推理，DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
【ACL2020】DeeBERT:动态加速BERT推理，DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
专知会员服务
20+阅读 · 2020年4月30日
【SIGIR2020-斯坦福大学】一种新的又好又快的BERT类信息检索模型-ColBERT
【SIGIR2020-斯坦福大学】一种新的又好又快的BERT类信息检索模型-ColBERT
专知会员服务
43+阅读 · 2020年4月28日
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
【华为-诺亚实验室】动态BERT, Dynamic BERT with Adaptive Width and Depth
专知会员服务
23+阅读 · 2020年4月13日
【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT
【ACL2020-CMU-Google】MobileBERT:用于资源受限设备的任务无关“瘦版”BERT
专知会员服务
12+阅读 · 2020年4月9日
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
Facebook AI何恺明等最新研究MoCo(动量对比学习)第二版，超越Hinton的SimCLR，刷新ImageNet准确率
专知会员服务
35+阅读 · 2020年3月11日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
24+阅读 · 2019年12月26日
【机器学习论文推荐】EfficientNet:卷积神经网络的再思考模型缩放（EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks）
【机器学习论文推荐】EfficientNet:卷积神经网络的再思考模型缩放（EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks）
专知会员服务
16+阅读 · 2019年12月24日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
23+阅读 · 2019年12月21日
【NLP| 推荐文章】知识图谱问答系统的神经网络方法介绍（Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs）
专知会员服务
57+阅读 · 2019年11月24日
热门VIP内容
相关资讯
基于知识蒸馏的BERT模型压缩
基于知识蒸馏的BERT模型压缩
大数据文摘
18+阅读 · 2019年10月14日
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
[Google]BERT压缩到7MB！最新基于最优子词和共享投影的极限语言压缩模型
专知
31+阅读 · 2019年10月6日
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
专知
36+阅读 · 2019年9月29日
【EMNLP2019】最新5篇论文推荐，BERT，对话系统，知识图谱，注意力机制等
【EMNLP2019】最新5篇论文推荐，BERT，对话系统，知识图谱，注意力机制等
专知
32+阅读 · 2019年8月17日
谷歌提出新型卷积网络EfficientNet：推理速度提升5.1倍，参数减少88%（附论文&代码）
谷歌提出新型卷积网络EfficientNet：推理速度提升5.1倍，参数减少88%（附论文&代码）
THU数据派
6+阅读 · 2019年6月9日
ACL 2019 | 基于知识增强的语言表示模型，多项NLP任务表现超越BERT
ACL 2019 | 基于知识增强的语言表示模型，多项NLP任务表现超越BERT
PaperWeekly
8+阅读 · 2019年6月3日
推理速度提升5.1倍，参数减少88%：谷歌提出新型卷积网络EfficientNet（附代码）
推理速度提升5.1倍，参数减少88%：谷歌提出新型卷积网络EfficientNet（附代码）
机器之心
6+阅读 · 2019年5月31日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深度学习与NLP
29+阅读 · 2019年3月30日
BERT霸榜问答任务，谷歌新基准模型缩小AI与人类差距50%
BERT霸榜问答任务，谷歌新基准模型缩小AI与人类差距50%
未来产业促进会
4+阅读 · 2019年1月31日
模型大小缩小75%，TensorFlow推出模型优化工具包
模型大小缩小75%，TensorFlow推出模型优化工具包
论智
7+阅读 · 2018年9月19日
相关论文
Span-based Joint Entity and Relation Extraction with Transformer Pre-training
Arxiv
7+阅读 · 2019年9月17日
Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT
Arxiv
3+阅读 · 2019年9月12日
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Arxiv
3+阅读 · 2019年5月28日
A BERT Baseline for the Natural Questions
Arxiv
8+阅读 · 2019年3月21日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
14+阅读 · 2018年10月11日
QuAC : Question Answering in Context
QuAC : Question Answering in Context
Arxiv
4+阅读 · 2018年8月21日
Graph-based Filtering of Out-of-Vocabulary Words for Encoder-Decoder Models
Arxiv
4+阅读 · 2018年5月28日
Differential Attention for Visual Question Answering
Arxiv
5+阅读 · 2018年4月3日
Dual Recurrent Attention Units for Visual Question Answering
Arxiv
7+阅读 · 2018年2月1日
Towards Understanding and Answering Multi-Sentence Recommendation Questions on Tourism
Arxiv
15+阅读 · 2018年1月5日
微信扫码咨询专知VIP会员
Top