开源双语千亿预训练模型GLM-130B 项目原作解读

近 年来，以 GPT-3 为代表 的千亿规模稠密语言模型展现出了强大的零样本/少样本学习能力，引起了新一轮的研究热潮。 然而，GPT-3 的模型参数不开源，仅以付费 API 的形式提供给海外研究者（中国地区不可用），给研究者对模型的深入研究设立了障碍。 尽管目前有形如 OPT-175B 和 BLOOM-176B 这类的开源千亿模型，用户也至少需要一台 A100（80G * 8）服务器才能启动推理，大部分普通研究者仍然被挡在门槛之外，这极大的影响了预训练语言模型的普惠性（Inclusivity）。

机器 之心最新 一期线上分享邀请到了清华大学知识工程实验室一年级博士生、 GLM-130B 项目学生负责人之一曾奥涵，将围绕架构选择、工程实现、训练策略三个方面介绍 GLM-130B 在训练过程中遇到的种种困难以及对应的解决方案及取得的一系列工作成果。 以下是 GLM-130B 的介绍 ：

GLM-130B 是一个开源开放的双语（中文和英文）双向稠密模型，拥有 1300 亿参数，模型架构采用通用语言模型（GLM）。它旨在支持在一台 A100（40G * 8）或 V100（32G * 8）服务器上对千亿规模参数的模型进行推理。在 INT4 量化方案下，GLM-130B 可以几乎不损失模型性能的情况下在 RTX 3090（24G * 4）或 GTX 1080 Ti（11G * 8）服务器上进行高效推理。截至 2022 年 7 月 3 日，GLM-130B 已完成 4000 亿个文本标识符（中文和英文各 2000 亿）的训练，它有以下独特优势：

1. 双语：同时支持中文和英文。

2. 高精度（英文）： 在 LAMBADA 上优于 GPT-3 175B（+4.0%）、OPT-175B（+5.5%）和 BLOOM-176B（+13.0%），在 MMLU 上略优于 GPT-3 175B（+0.9%）。

3. 高精度（中文）：在 7 个零样本 CLUE 数据集（+24.26%）和 5 个零样本 FewCLUE 数据集（+12.75%）上明显优于 ERNIE TITAN 3.0 260B。

4. 快速推理：支持用一台 A100 服务器使用 SAT 和 FasterTransformer 进行快速推理（提速最高可达 2.5 倍）。

5. 低资源推理：INT4 量化方案下，支持在几乎不损失模型性能的情况下用 RTX 3090（24G * 4）或 GTX 1080 Ti（11G * 8）服务器进行高效推理

6. 可复现性：所有结果（超过 30 个任务）均可通过开源代码和模型参数轻松复现。

7. 跨平台：支持在 NVIDIA、海光 DCU、昇腾 910 和申威处理器上进行训练。

分享主题：GLM-130B：开源的双语千亿预训练模型

分享嘉宾：曾奥涵，清华大学知识工程实验室一年级博士生，指导老师为唐杰教授、研究方向为自然语言处理与大规模预训练模型。

分享摘要：GLM-130B 是一个开源开放的双语千亿稠密模型。本次分享将从架构选择、工程实现、训练策略三个方面介绍 GLM-130B 在训练过程中遇到的种种困难以及对应的解决方案。之后会介绍 GLM-130B 在中英文多个下游任务上的零样本/少样本表现。最后将介绍 GLM-130B 的后训练 INT4 量化方案。

相关链接：

博客：https://keg.cs.tsinghua.edu.cn/glm-130b/

代码、模型下载：https://github.com/THUDM/GLM-130B

加群看直播

直播间 ： 关注机器之心机动组视频号，北京时间 9 月 5 日 19:00 开播。

交流群： 本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。

如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「GLM-130B」即可加入。

如果你也有最新工作希望分享或提交你感兴趣的内容方向，随时告诉我们吧： https://jiqizhixin.mikecrm.com/fFruVd3

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。 机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。