「Big Model Meetup」系列活动
是由智源研究院悟道团队、青源会、清华大学计算机科学与技术系博硕论坛、中国中文信息学会青年工作委员会共同组织，智源社区提供社区支持，PaperWeekly提供媒体支持。该系列活动旨在建设“大模型”研究和应用的“技术社区”，推动国内大模型技术的交流与发展，打造相关专家学者、爱好者深度的交流分享平台。
BMMeetup第一期以大模型微调技术为主题，于2021年10月16日上午在北京召开，邀请了卡内基梅隆大学刘鹏飞老师为特邀讲者做引导发言，八位青年学者做技术报告。活动包括两个环节，口头报告+海报交流，会议现场设置了所有技术报告的海报，进一步交流技术细节。
-
会议时间：2021年10月16日（周六）09:00-12:00
-
活动形式：线下活动，具体地点报名后等待短信和邮件通知
-
报名地址：https://event.baai.ac.cn/activities/168
首期BMMeetup线下报名截止时间为2021年10月13日12:00，报名后请查看邮件及短信通知，接收电子门票。
报告摘要：
最近以Prompt为核心的相关学习方法不仅在自然语言处理领域受到了广泛关注，在计算机视觉和多模态领域也陆续出现许多优秀的相关工作。那么Prompt方法是一个值得“学术资本”（研究者，计算资源）流入的方向么？在这个报告中，我将介绍：
Prompt学习的相关概念；
尝试分享对这个问题的见解；
总结Prompt方法应用的核心挑战。
讲者简介：
刘鹏飞，目前在卡耐基梅隆大学（CMU）语言技术研究所进行博后研究，曾担任CMU自然语言处理课程的联合讲师。主要研究领域：信息抽取，文本生成，系统的可解释评估与诊断。在自然语言处理顶级会议发表学术论文40多篇，获得ACL2021 Best Demo奖，担任NAACL/EMNLP/NeurIPS领域主席。曾获得人工智能学会优秀博士论文，上海市计算机学会优秀博士论文，百度奖学金，微软学者奖，腾讯全球人工智能博士学者等荣誉。领导开发了审稿机器人，AI系统可解释排行榜等产品，受到了工业界和学术界的关注。
题目：P-tuning：大规模生成式预训练模型的下游任务迁移方法
报告摘要：
GPT-3在大之外，还带给了我们什么启示？本次报告将聚焦新型的连续提示微调方法（P-tuning），讨论其在（1）大模型知识探测，（2）生成式自然语言理解，以及（3）超大规模预训练语言模型的下游迁移的巨大潜力，以及同时在小模型上取得的良好结果。P-tuning在知识探测任务LAMA上首度取得了64.1%的准确率，相较基线方法提升20个绝对百分点；同时，P-tuning也首度证明，GPT可以在自然语言理解任务上取得和BERT一样甚至更好的表现；最后，P-tuning在小样本学习FewSuperGLUE上也取得了SOTA的表现，证实了连续提示微调方法的广阔应用前景。
讲者简介：
刘潇，清华大学研究生，指导老师唐杰教授，主要研究兴趣为知识图谱，预训练模型和机器学习。在TKDE, KDD, EMNLP, AI Open等期刊会议上发表多篇论文，撰写的自监督学习综述在aminer主页上浏览量超10000次。
讲者简介：
清华大学计算机系本科生，2020年12月开始在KEG实习。目前主要参与P-tuning相关工作
题目：PPT: Pre-Trained Prompt Tuning for Few-Shot Learning
报告摘要：
随着预训练语言模型的参数量越来越大，如何高效地将大模型向下游任务适配逐渐受到研究者们的关注。最近，一种被称为 prompt tuning 的方法提供了一种可能的解决方式。这种方法通过在固定整体模型参数的情况下，端到端地调整拼接在输入前的一组 soft prompt， 从而在下游数据充足的情况下达到和训练整体模型参数相当的结果。但是，我们发现 soft prompt 的优化较为困难，导致 prompt tuning 在数据量较少的情况下性能较差。因此，我们提出了一个新的训练框架 PPT (Pre-trained Prompt Tuning)。在这个框架中，为了解决 soft prompt 优化困难的问题，我们将 soft prompt 先在无标注数据上进行预训练，从而得到一个较好的初始化，然后再通过上述的 prompt tuning 向下游任务适配。为了提升我们框架的通用性，我们将多个经典的文本分类任务归为了三种形式，并为每种形式分别设计了一种预训练任务。我们通过大量的实验证明，PPT 框架可以显著提升 prompt tuning 在少数据场景下的性能，达到甚至超过模型整体参数微调的水平。并且，在数据量增多时，PPT 的优势仍然可以保持。
讲者简介：
顾煜贤：清华大学计算机系2021级博士生，导师为黄民烈副教授，研究方向为预训练语言模型、开放域对话系统，相关工作发表在 EMNLP, AIOpen 等会议或期刊上，悟道 2.0 文源团队主要成员之一。
题目：PTR: Prompt Tuning with Rules for Text Classification
报告摘要：
最近的一系列研究结果表明，对预训练语言模型进行参数微调可以在NLP任务上取得优异的结果。而通过引入提示（Prompt）来进行参数微调的话，则可以进一步激发出预训练语言模型中的丰富知识，从而更好地服务于下游任务。目前，采用Prompt进行预训练模型的微调在一系列分类标签较少的任务上取得了不错的效果，例如情感分析与自然语言推理。目前手动设计大量以自然语言短语形式出现的Prompt过程繁琐也易于出错。如果采用模型来自动生成Prompt的话，生成较为有效Prompt的时间成本也非常高昂，目前只能应用到数据量较小的少次学习场景上。因此，采用Prompt来对分类类型较多、数据量较大的分类任务进行预训练模型的参数微调仍然具有挑战性。对此，我们提出利用简单逻辑规则来构造Prompt的框架PTR。在PTR中，我们利用逻辑规则对分类任务所需的Prompt进行拆解，并对拆解后的简单逻辑断言进行Sub-Prompt的设计，并通过组合Sub-Prompt的方式来降低复杂任务的Prompt构造难度。在实验环节，我们选择了关系分类作为标签数较多的分类任务代表进行了实验，验证了PTR的有效性。
讲者简介：
韩旭：清华大学计算机系2017级博士生，导师为刘知远副教授，研究方向为自然语言处理、信息抽取、预训练语言模型，在自然语言处理领域国际会议ACL、EMNLP、COLING、NAACL上发表多篇论文，悟道 2.0 文源团队主要成员之一。
题目：Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
报告摘要：
使用任务特定的prompt来微调预训练语言模型是文本分类的一种有前途的方法。前人研究表明，与具有额外分类器的通用微调方法（fine-tuning）相比，prompt-tuning在低数据场景中具有显着优势。prompt-tuning 的核心思想是在输入中插入文本片段，即模板，并将分类问题转化为掩码语言建模问题，其中关键的一步是构建投影，即，verbalizer，连接标签空间和标签词空间。语言表达器通常是手工制作的或通过梯度下降搜索，这可能缺乏覆盖率并给结果带来大偏差和高方差。在这项工作中，我们专注于将外部知识整合到verbalizer中，形成知识性prompt-tuning（KPT），以改进和稳定prompt-tuning 模型。具体而言，我们使用外部知识库扩展了verbalizer的标签词空间，并在使用扩展的标签词空间进行预测之前，使用 PLM 本身来改良扩展的标签词空间。零样本和少样本文本分类任务的大量实验证明了知识式prompt-tuning的有效性。
讲者简介：
胡声鼎：清华大学计算机系2020级硕士生，导师为刘知远副教授，研究方向为预训练语言模型等，相关工作发表在NeurIPS，ACL，AIOpen等会议或期刊上。
题目：CPT: Colorful Prompt Tuning for Pre-trained Vision-Language Models
报告摘要：
预训练视觉语言模型具有很强的潜在的视觉定位能力，即在跨模态数据中将自然语言定位到细粒度的图像区域的能力，这为解决跨模态任务提供了重要基础。然而，我们注意到模型预训练和传统微调(Fine-tuning)的目标形式之间存在着巨大的差距，导致需要大量的有标注数据来激活预训练视觉语言模型在下游任务中的视觉定位能力。为了应对这一挑战，我们提出了基于跨模态提示的微调方法(Cross-modal Prompt Tuning，CPT)。CPT通过在图像和文本中使用基于颜色的共指标记，将视觉定位形式化为一个完形填空问题，最大限度地减小了预训练和微调中的差距。通过这种方式，CPT使预训练视觉语言模型具有很强的少次甚至零次视觉定位能力。大量实验结果表明，相比于传统的微调方法，基于CPT微调的预训练视觉语言模型的视觉定位能力取得大幅提升。例如，在RefCOCO使用一个样例微调的实验中，CPT取得了17.3%的准确率绝对提升，以及73.8%的标准偏差相对降低。
讲者简介：
姚远：清华大学计算机系2018级博士生，导师为刘知远副教授，研究方向为信息抽取、跨模态学习等。相关工作发表在ACL、EMNLP、NAACL、AAAI、ICCV等会议及期刊上。
题目：Language Models as Task Compressors? Exploring Low-dimensional Intrinsic Subspace for Prompting
报告摘要：
预训练语言模型是如何学习通用语言表示并适应几乎所有 NLP 任务的？在这项工作中，我们通过实验表明，尽管各种 NLP 任务在表面上有很大差异，但 PLM 可以将它们压缩到一个极低维的本征空间中，从而可以在低资源的场景下高效完成各种 NLP 任务。具体来说，我们发现多个 NLP 任务的soft prompt可以压缩到一个极低维的非线性子空间中，且该空间具有较好的泛化性质。例如，如果在本征子空间中仅训练 5个参数，我们可以还原多达100个few-shot NLP任务全参数fine-tune（训练135,000,000+参数）90%的效果。我们将这种方法命名为Intrinsic Prompt Tuning (IPT)。我们进一步表明 IPT 可以带来一些实际好处，例如提高训练稳定性与可解释性。
讲者简介：
秦禹嘉：清华大学计算机系2020级博士生，导师为刘知远副教授，研究方向为预训练语言模型、知识迁移等。相关工作发表在ICLR、ACL、TASLP等会议及期刊上。
题目：OpenPrompt：统一范式的Prompt-learning工具包
报告摘要：
使用prompt-learning来驱动超大预训练语言模型在近来受到NLP的广泛关注。然而，针对prompt-learning的具体实现实际上是没有统一范式的，已有方法力求在已有的传统微调框架中进行细微高效的改动来实现prompt-learning，可能会造成较差的可读性和可复现性。事实上，一个prompt-learning流程是预训练任务、当前任务、人类先验知识、模型架构的综合过程。我们重新思考了prompt-learning的设计，发布了一个统一范式的prompt-learning工具包OpenPrompt（项目链接：
https://github.com/thunlp/OpenPrompt
），旨在让初学者、开发者、研究者都能轻松地部署prompt-learning框架来利用预训练模型解决各种NLP问题。它具有：
易用性。基于OpenPrompt工具包，使用者可以快速根据不同任务部署prompt-learning框架；
组合性。从前的prompt-learning研究往往只实验了一种设定，在OpenPrompt的模块化支持下，使用者可以自由地将模型、模板、标词映射进行组合，从而进行更加全面的实验；
拓展性。OpenPrompt具有灵活的可拓展性，使用者可以轻松地在其之上完成进阶开发，让你的prompt-learning研究快人一步。
讲者：丁宁 清华大学计算机系博士生
![]()
讲者简介：丁宁，清华大学计算机系2018级博士生，研究方向为机器学习、语言模型、知识计算等，相关工作发表在ICLR、ACL、EMNLP、AAAI等会议或期刊上。
微信扫描下方二维码进入「智源社区预训练社群」，社群内交流，会有工作人员及时解答。
![]()
微信扫码咨询专知VIP会员