随着大模型在自然语言处理、计算机视觉等多个领域兴起,认知智能正在经历范式上的变化。借助大规模的数据以及庞大的参数量,这些模型展现出能够有效处理各种任务的特征,并正在以惊人的速度被部署到各个专业领域中,对社会和经济发展产生深远的影响。但是目前中文社区出现了某种停滞不前的现象,因为模型的体量已经从原本的百万参数飞跃至千亿级别,一些高校和传统公司并不具备足够的算力,也缺少有效的基础设施帮助他们训练和使用模型。因此,要推动人工智能技术进一步发展,坚实的基础设施尤为重要。
在这个背景下,IDEA 研究院正式宣布开启封神榜大模型开源计划,同时还提出封神框架和封神榜单。封神榜将全方面开源一系列预训练大模型,目前已覆盖文本理解、文本摘要、文本生成、多模态生成等相关任务,致力于为工业界和学术界提供简单高效的解决方案;封神框架则提供丰富、真实的源代码和示例用以模型训练及应用等;封神榜单提供一系列面向未来、易于应用、适用广泛的中文基准,以弥补目前中文基准的不足。未来,封神榜开源计划将持续更新,共建中文认知智能的基础设施。
目前封神榜已经取得的成绩包括:
预训练语言模型二郎神:UnifiedMC FewCLUE 榜单第一(2022.08.30)
预训练语言模型二郎神:UnifiedMC ZeroCLUE 榜单第一(2022.08.30)
多任务抽取方案 UBERT:AIWIN 大赛冠军(2022.07.21)
预训练语言模型二郎神:SimCLUE 榜单第一(2022.07.14)
预训练语言模型二郎神:ZeroCLUE 榜单第一(2022.01.24)
预训练语言模型二郎神:FewCLUE 榜单第一(2021.11.11)
分享主题:封神榜开源大模型体系:致力于成为中文认知智能的基础设施
分享嘉宾:王军杰,IDEA 研究院封神榜团队成员,现就读于早稻田大学攻读博士学位,清华大学客座学生(指导老师:杨余久)。
分享摘要:
封神榜开源大模型体系包括封神榜大模型、封神框架、封神榜单三个子项目,三者共同助力下一代 AI 基础设施建设,为研究者和开发者提供全方位的支持。目前封神榜大模型中的二郎神系列已经获得数个中文榜单 SOTA 成绩。
相关链接:
IDEA 研究院官网:
https://www.idea.edu.cn/
封神榜大模型开源计划:
https://www.idea.edu.cn/fengshenbang-lm.html
封神榜模型:
https://huggingface.co/IDEA-CCNL
封神框架:
https://github.com/IDEA-CCNL/Fengshenbang-LM