预训练模型已成为人工智能发展的重要技术手段,在引领产业变革中发挥重要作用,国内外人工智能相关机构相继研究开发百余种预训练模型产品和评测榜单,导致用户难以有效评价业内人工智能产品的技术水平和服务能力。GB/T XXXXX 旨在规定通用预训练模型的技术要求、评测指标和服务能力,拟由三部分构成。
——第1部分:通用要求。目的在于定义制备或使用大规模预训练模型的人工智能系统的技术参考架构和相关方活动,并提出通用技术要求。
——第2部分:评测指标与方法。目的在于定义预训练模型评测内容、指标设置和评测方法。
——第3部分:服务能力成熟度评估。目的在于定义大规模预训练模型服务能力成熟度评估框架,规定大规模预训练模型服务的能力要求、成熟度等级及评估方法。