《人工智能 异构人工智能加速器统一接口（征求意见稿）》国家标准

本文件定义异构人工智能加速器的统一接口及其语义和使用方法，描述了各加速器为实现此接口所需的接入方法和试验方法。 本文件适用于人工智能加速器接口的设计和实现，也可为人工智能加速器应用提供参考。

据统计，我国人工智能加速处理器研发机构多达2800 多家，每种加速器都有自建软件及应用生态的任务，这种现象将给人工智能计算企业和产业带来沉重负担。其核心问题如下： （1）技术生态：人工智能计算生态的严重割裂，加速器的技术生态林立，小且脆弱；（2）兼容适配：众多加速器需与众多计算框架（如机器学习框架）点对点适配，产业整体适配工作量巨大； （3）用户使用：异构人工智能加速器整合、使用的复杂度很高。加速器之间的互操作在如此大的规模上，较难实现和维护。本标准旨在在各人工智能加速器使能软件之上与机器学习框架之下，建立中间层。对上，屏蔽加速器的异构性；对下，屏蔽机器学习框架的多种接入方式，以达到让加速器或机器学习框架快速对接而建立或复用生态的目标。

《人工智能 异构人工智能加速器统一接口》标准定义了异构人工智能加速器的统一接口及其语义，给出了各加速器为实现此接口所需的接入方法、使用方法和试验方法。 该标准适用于人工智能加速器接口的设计和实现，也可为人工智能加速器应用提供参考。 该标准主要技术内容包括： （1）异构人工智能加速器统一接口概述，包括接口、接入方法、精度、接口参数等； （2）接口定义，包括模型操作接口、运行时接口、运算接口等；（3）符合性测试方法，包括测试过程、指标及测量方法等；（4）附录，包括 A 返回码（规范性）、B 测试项（规范性）、C算子定义（规范性）、D 枚举（规范性）、E 领域接口（资料性）。