IDEA研究院原作团队解读封神榜体系:致力于成为中文认知智能的基础设施

2022 年 9 月 10 日 机器之心

随着大模型在自然语言处理、计算机视觉等多个领域兴起,认知智能正在经历范式上的变化。借助大规模的数据以及庞大的参数量,这些模型展现出能够有效处理各种任务的特征,并正在以惊人的速度被部署到各个专业领域中,对社会和经济发展产生深远的影响。但是目前中文社区出现了某种停滞不前的现象,因为模型的体量已经从原本的百万参数飞跃至千亿级别,一些高校和传统公司并不具备足够的算力,也缺少有效的基础设施帮助他们训练和使用模型。因此,要推动人工智能技术进一步发展,坚实的基础设施尤为重要。

在这个背景下,IDEA 研究院正式宣布开启封神榜大模型开源计划,同时还提出封神框架和封神榜单。封神榜将全方面开源一系列预训练大模型,目前已覆盖文本理解、文本摘要、文本生成、多模态生成等相关任务,致力于为工业界和学术界提供简单高效的解决方案;封神框架则提供丰富、真实的源代码和示例用以模型训练及应用等;封神榜单提供一系列面向未来、易于应用、适用广泛的中文基准,以弥补目前中文基准的不足。未来,封神榜开源计划将持续更新,共建中文认知智能的基础设施。

目前封神榜已经取得的成绩包括:

  • 预训练语言模型二郎神:UnifiedMC FewCLUE 榜单第一(2022.08.30)

  • 预训练语言模型二郎神:UnifiedMC ZeroCLUE 榜单第一(2022.08.30)

  • 多任务抽取方案 UBERT:AIWIN 大赛冠军(2022.07.21)

  • 预训练语言模型二郎神:SimCLUE 榜单第一(2022.07.14)

  • 预训练语言模型二郎神:ZeroCLUE 榜单第一(2022.01.24)

  • 预训练语言模型二郎神:FewCLUE 榜单第一(2021.11.11)

分享主题:封神榜开源大模型体系:致力于成为中文认知智能的基础设施

分享嘉宾:王军杰,IDEA 研究院封神榜团队成员,现就读于早稻田大学攻读博士学位,清华大学客座学生(指导老师:杨余久)。

分享摘要:

封神榜开源大模型体系包括封神榜大模型、封神框架、封神榜单三个子项目,三者共同助力下一代 AI 基础设施建设,为研究者和开发者提供全方位的支持。目前封神榜大模型中的二郎神系列已经获得数个中文榜单 SOTA 成绩。

相关链接:

IDEA 研究院官网:

https://www.idea.edu.cn/

封神榜大模型开源计划:

https://www.idea.edu.cn/fengshenbang-lm.html

封神榜模型:

https://huggingface.co/IDEA-CCNL

封神框架:

https://github.com/IDEA-CCNL/Fengshenbang-LM

加群看直播
直播间 关注机器之心机动组视频号,北京时间 9 月 13 日 19:00 开播。
交流群: 本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。



如群已超出人数限制,请添加机器之心小助手:syncedai2、syncedai3、syncedai4 或 syncedai5,备注「封神榜」即可加入。
如果你也有最新工作希望分享或提交你感兴趣的内容方向,随时告诉我们吧: https://jiqizhixin.mikecrm.com/fFruVd3

机器之心 · 机动组
机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。 机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。
登录查看更多
0

相关内容

AAAI 2022 | 基于预训练-微调框架的图像差异描述任务
专知会员服务
17+阅读 · 2022年2月26日
基于预训练语言模型的文本生成
专知会员服务
27+阅读 · 2022年1月28日
专知会员服务
49+阅读 · 2021年9月25日
时空人工智能赋能数字孪生城市白皮书(2021),29页pdf
专知会员服务
80+阅读 · 2021年7月15日
开源双语千亿预训练模型GLM-130B 项目原作解读
机器之心
0+阅读 · 2022年9月5日
阿里巴巴达摩院对话团队招聘研究实习生!
夕小瑶的卖萌屋
1+阅读 · 2022年7月13日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年11月23日
Arxiv
17+阅读 · 2022年1月11日
A Survey on Data Augmentation for Text Classification
Arxiv
21+阅读 · 2019年3月25日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员