国家标准《人工智能 预训练模型第3 部分服务能力成熟度评估》

该标准提出了预训练模型服务能力成熟度评估框架，规定了预训练模型服务的能力要求、成熟度等级及评估方法。旨在对预训练模型的服务能力进行评估，从基础平台能力、模型生产及服务能力、模型服务性能优化能力等三个能力域，从硬件能力、数据处理能力、服务效率优化能力等 9 项能力子域及25 项能力要素对模型服务能力成熟度进行综合性评价，提出预训练模型评估指标权重及计算方式，从相对科学的角度体现模型服务能力。 适用于服务的供方和需方对预训练模型平台、模型定制及推理运维服务的能力进行全面评估，也可作为指导预训练模型服务能力建设时的规划、设计和实现。

预训练模型已成为人工智能发展的重要技术手段，在引领产业变革中发挥重要作用，国内外人工智能相关机构相继研究开发百余种预训练模型产品和评测榜单，导致用户难以有效评价业内人工智能产品的技术水平和服务能力。GB/T XXXXX 旨在规定通用预训练模型的技术要求、评测指标和服务能力，拟由三部分构成。 ——第1部分：通用要求。目的在于定义制备或使用大规模预训练模型的人工智能系统的技术参考架构和相关方活动，并提出通用技术要求。 ——第2部分：评测指标与方法。目的在于定义预训练模型可支持完成的任务、评测指标以及评测方法。 ——第3部分：服务能力成熟度评估。目的在于定义大规模预训练模型服务能力成熟度评估框架，规定大规模预训练模型服务的能力要求、成熟度等级及评估方法。