「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。
本期 AI Drive，我们邀请到北京大学计算语言所硕士生许润昕，为大家在线解读其发表在 AAAI 的最新研究成果：From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression。对本期主题感兴趣的小伙伴，1 月 20 日（本周四）晚 7 点，我们准时相约 PaperWeekly 直播间。
直播信息
近年来，预训练语言模型迅速发展，模型参数量也不断增加。为了提高模型效率，各种各样的模型压缩方法被提出，其中就包括模型剪枝。然而，现有的模型剪枝方法大多只聚焦于保留任务相关知识，而忽略了任务无关的通用知识的保留。对此，我们提出了一种基于对比学习的新的剪枝框架，适用于各种结构化剪枝与非结构化剪枝方法，在各种压缩比下都提升了压缩后模型的表现。
论文标题：
From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression
论文链接：
/abs/2112.07198
本次分享的具体内容有：
预训练语言模型发展与模型压缩
模型剪枝压缩中存在的问题
基于对比学习的预训练语言模型剪枝压缩
实验分析与结论
嘉宾介绍
许润昕/ 北京大学计算语言所硕士生
许润昕，北京大学计算语言所二年级硕士生，导师为常宝宝老师。主要研究兴趣为自然语言处理中的关系抽取，事件抽取，以及预训练模型的应用与加速等方向。在ACL、EMNLP、AAAI、CIKM等国际会议上发表论文。
直播地址& 交流群
本次直播将在 PaperWeekly 视频号和 B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。
视频号直播间：
扫描下方二维码关注 PaperWeekly 视频号，第一时间获取开播提醒。
B 站直播间：
/14884511
合作伙伴
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
