《信息安全技术 机器学习算法安全评估规范》国家标准意见稿，33页pdf

《信息安全技术 机器学习算法安全评估规范》国家标准，本文件本文件规定了机器学习算法在设计开发、验证测试、部署运行、维护升级、退役下线等阶段的安全 要求和证实方法，以及机器学习算法的安全评估实施。本文件适用于对机器学习系统中的算法进行安全评估，也适用于机器学习系统开发者和运营者在算 法开发运营过程中进行自评估和改进安全措施。

本标准给出了机器学习算法安全评估指标、评估流程以及在需求、设计、开发训练、验证评估、运行等阶段的算法安全评估规范，涉及影响算法-模型安全的数据、系统等方面的安全因素，适用于指导机器学习应用开发者、运营管理者、用户以及第三方等相关方开展机器学习算法安全评估。本标准拟解决机器学习算法安全评估问题，给出安全评估规范，主要表现在：1）机器学习算法的安全评估指标和评估流程。虽然传统的安全问题在人工智能中依然存在，但机器学习算法安全有很多自身的特点，开展算法安全评估应重点关注机器学习算法的安全问题，因此，研究机器学习算法的安全属性和安全风险就十分必要。在此基础上，本项目将研究机器学习算法的安全评估指标，从整体上给出机器学习算法的安全评估目标、流程及结果判定方式，为开发人员、用户及第三方等相关组织开展人工智能算法安全评估提供基本指导。2）机器学习系统开发生命周期的算法安全评估要求。机器学习算法安全评估全面考虑系统工程的整个生命周期安全需求，包括需求阶段、设计阶段、开发训练阶段、验证评估阶段、运行阶段，各实践阶段均存在需要特别考虑的安全评估点。本项目将综合考虑人工智能算法生命周期安全评估需求，提出针对不同实施阶段的算法安全评估要求。3）机器学习算法安全评估要求。机器学习算法面临数据、算法、模型等多个层面的安全风险，开展算法安全评估将全面考虑机器学习算法安全风险点，给出针对不同层面安全风险的评估方法、流程、要求等，从攻击、防御等方面，分别给出对应评估方案和具体要求。

目的意义

《人工智能标准化白皮书（2018版）》中指出，对人类的安全和生命安全有直接的影响的人工智能系统，可能会对人类构成威胁，需要在这类人工智能系统得到广泛应用之前，就通过标准化等手段对系统进行规范和评估，保障安全性。

《人工智能安全标准化白皮书（2019版）》指出，充分兼容已有支撑性安全标准，设计人工智能安全测试评估指标，优先针对算法鲁棒性、人工智能系统应用可信赖、隐私保护、数据集安全、应用安全等主题开展测试评估类标准研制工作。

与此同时，安全评估标准往往滞后于技术发展，尽早开始人工智能算法安全的标准制定，显得十分必要。

本项目立足机器学习算法安全评估，针对需求、设计、开发训练、验证评估、运行阶段的算法安全需求，结合算法安全风险点，研究人工智能算法的安全评估指标、评估方法、评估流程，有助于推动国务院《新一代人工智能发展规划》和工信部《促进新一代人工智能产业发展三年行动计划（2018-2020年）》中有关建立人工智能安全方面的技术标准的落地实施，为机器学习算法开发方、用户方以及第三方等相关方开展机器学习算法安全评估提供实践指导。