直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到北京大学计算语言所硕士生许润昕，为大家在线解读其发表在 AAAI 2022 的最新研究成果：From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression。对本期主题感兴趣的小伙伴，1 月 20 日（本周四）晚 7 点，我们准时相约 PaperWeekly 直播间。

直播信息

近年来，预训练语言模型迅速发展，模型参数量也不断增加。为了提高模型效率，各种各样的模型压缩方法被提出，其中就包括模型剪枝。然而，现有的模型剪枝方法大多只聚焦于保留任务相关知识，而忽略了任务无关的通用知识的保留。对此，我们提出了一种 基于对比学习的新的剪枝框架 ，适用于各种结构化剪枝与非结构化剪枝方法，在各种压缩比下都提升了压缩后模型的表现。

论文标题：

From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression

论文链接：

https://arxiv.org/abs/2112.07198

本次分享的具体内容有：  

• 预训练语言模型发展与模型压缩

• 模型剪枝压缩中存在的问题

• 基于对比学习的预训练语言模型剪枝压缩

• 实验分析与结论

嘉宾介绍

 许润昕 / 北京大学计算语言所硕士生 

许润昕，北京大学计算语言所二年级硕士生，导师为常宝宝老师。主要研究兴趣为自然语言处理中的关系抽取，事件抽取，以及预训练模型的应用与加速等方向。在ACL、EMNLP、AAAI、CIKM等国际会议上发表论文。

直播地址 & 交流群

本次直播将在 PaperWeekly 视频号和 B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

视频号直播间：

扫描下方二维码关注 PaperWeekly 视频号，第一时间获取开播提醒。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·