国家标准《人工智能深度学习算法评估》（征求意见稿）

深度学习在目标检测、语音识别、自然语言处理和视频分类等领域取得了令人瞩目的成果，国内外越来越多的信息技术企业利用深度学习算法解决实际问题。可靠的深度学习算法是确保人工智能系统正常运转的关键因素。然而，业界对深度学习算法理解不统一，国内在深度学习算法评估的标准方面仍属空白，缺乏深度学习算法的相关评估方法，一定程度上影响着深度学习的广泛应用和技术发展。

为积极响应人工智能标准体系建设号召，填补我国深度学习算法评估标准空白，中国电子技术标准化研究院联合中国科学院软件研究所及深度学习算法的使用方、测试方等相关单位基于获得2019工信部百项团体标准示范项目的标准《人工智能 深度学习算法评估规范》进行内容扩充与修改完善，形成国标立项草案。 本文件可提高使用深度学习算法的软件系统的质量，帮助不同类型企业开展规范化的深度学习算法评估工作。该文件可以面向深度学习算法的开发者和使用深度学习算法实现特定需求的用户方，帮助以上人员或机构更早的发现深度学习算法中影响算法可靠性的因素，给出提高算法可靠性的活动建议，从而降低深度学习算法的研发周期和提高深度学习算法的可靠性，并最终提高基于深度学习算法开发的软件系统的质量。同时该文件也可以面向第三方机构用于对深度学习算法的可靠性评估，据此文件出具检测报告，以公正、权威的非当事人身份开展检验活动。

深度学习算法评估的意义和作用主要体现在以下几个方面： 1、算法性能的度量和比较：评估深度学习算法的性能是算法研发和优化过程中不可缺少的一环。通过对比不同算法的性能，可以了解各种算法的优劣，为算法的改进提供依据。同时，对于相同算法，通过对比不同参数设置或不同数据集上的表现，可以评估算法在不同场景下的适应性。 2、算法问题的诊断：深度学习算法的评估结果可以用于诊断算法存在的问题。如果算法在某些方面的表现不佳，可以通过分析评估结果来定位问题所在，为改进算法提供突破口。例如，如果模型的预测准确率较低，那么可能需要检查模型的架构、训练数据的质量、训练过程的参数设置等方面。 3、算法的应用前景预测：深度学习算法的应用前景预测是算法评估的一个重要方面。通过评估深度学习算法在不同领域的应用效果，可以了解该算法在不同场景下的适用性，为算法的应用推广提供参考。例如，深度学习在图像识别、语音识别、自然语言处理等领域的应用已经得到了广泛认可，但在某些领域的应用效果可能还需要进一步探索和评估。 总之，深度学习算法评估是算法研发和应用过程中不可或缺的一环，它可以帮助研发人员了解算法的性能、问题和应用前景，为算法的优化、改进和推广提供依据。 然而，业界缺乏对深度学习算法的系统性评估方法，一定程度上影响着深度学习的广泛应用和技术发展。本文件此版本仅针对人工智能深度学习算法的基础性能、效率、可解释性、鲁棒性、安全性和公平性评估进行要求。随着研究的深入及应用的发展，后续将不断进行持续改进，逐渐扩展到深度学习算法可移植性等方面的评估。