清华CodeGeeX项目原作解读：大规模多语言代码生成模型

近年来，大规模预训练模型在各个领域取得飞速进步，不仅是文本、图像领域，用于代码领域也可以取得惊人的效果。OpenAI 的 Codex 模型首次展示了代码预训练模型的强大能力，并以此为基础开发了 Copilot 插件。然而，闭源、收费等特性使 Copilot 饱受研究者和程序员们的争议。

为了让更多研究者能参与到这一领域的探索、让广大程序员能够免费体验到自动代码生成带来的便利，清华大学知识工程实验室团队主导研发了 CodeGeeX，一个具有 130 亿参数的多编程语言代码生成预训练模型，采用华为 MindSpore 框架实现，在鹏城实验室 “鹏城云脑 II“平台上使用 1536 个昇腾 910 AI 处理器，在 20 多种语言的语料库上历时两个月训练得到。CodeGeeX 支持十多种主流编程语言的生成及翻译，在新的多语言基准 HumanEval-X 取得超过所有开源模型的效果。此外，团队和智谱 AI 合作，基于 CodeGeeX 开发了免费的 VS Code 插件，同时正在开发其他平台插件，帮助广大程序员提高开发效率。CodeGeeX 开源开放，所有代码和模型权重均已开源，并同时支持昇腾和英伟达平台。

机器之心最新一期线上分享邀请到了清华大学知识工程实验室研究助理郑勤锴，介绍 CodeGeeX 的技术原理、实现过程、评估指标，以及插件的使用教程等。

分享主题：CodeGeeX:大规模多语言代码生成模型

分享嘉宾：郑勤锴，清华大学知识工程实验室研究助理，本科及硕士毕业于上海交通大学，并取得巴黎高等电信学校工程师学位，研究领域是基于预训练模型的代码生成。

分享摘要：CodeGeeX 是一个具有 130 亿参数的多语言代码生成预训练模型，由清华大学知识工程实验室团队研发，支持十多种主流编程语言的生成及翻译，并开发了免费的 VS Code 插件，帮助广大程序员提高开发效率。本次报告将介绍 CodeGeeX 的技术原理、实现过程、评估指标，以及插件的使用教程等。

相关链接：

1）SOTA！模型平台项目主页链接：

https://sota.jiqizhixin.com/project/codegeex

2）GitHub 链接：

https://github.com/THUDM/CodeGeeX

3）技术博客：

https://models.aminer.cn/codegeex/blog/index_zh.html

4）主页（含在线DEMO）：

https://models.aminer.cn/codegeex/zh-CN/

5）免费的 VS Code 插件：

https://marketplace.visualstudio.com/items?itemName=aminer.codegeex

加群看直播

直播间 ： 关注机器之心机动组视频号，北京时间 11 月 7 日 19:00 开播。

交流群： 本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。

如群已超出人数限制，请添加机器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，备注「CodeGeeX」即可加入。

如果你也有最新工作希望分享或提交你感兴趣的内容方向，随时告诉我们吧： https://jiqizhixin.mikecrm.com/fFruVd3

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。 机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。