深度学习在目标检测、语音识别、自然语言处理和视频分类等领域取得了令人瞩目的成果,国内外越来越多的信息技术企业利用深度学习算法解决实际问题。可靠的深度学习算法是确保人工智能系统正常运转的关键因素。然而,业界对深度学习算法理解不统一,国内在深度学习算法评估的标准方面仍属空白,缺乏深度学习算法的相关评估方法,一定程度上影响着深度学习的广泛应用和技术发展。

为积极响应人工智能标准体系建设号召,填补我国深度学习算法评估标准空白,中国电子技术标准化研究院联合中国科学院软件研究所及深度学习算法的使用方、测试方等相关单位基于获得2019工信部百项团体标准示范项目的标准《人工智能 深度学习算法评估规范》进行内容扩充与修改完善,形成国标立项草案。 本文件可提高使用深度学习算法的软件系统的质量,帮助不同类型企业开展规范化的深度学习算法评估工作。该文件可以面向深度学习算法的开发者和使用深度学习算法实现特定需求的用户方,帮助以上人员或机构更早的发现深度学习算法中影响算法可靠性的因素,给出提高算法可靠性的活动建议,从而降低深度学习算法的研发周期和提高深度学习算法的可靠性,并最终提高基于深度学习算法开发的软件系统的质量。同时该文件也可以面向第三方机构用于对深度学习算法的可靠性评估,据此文件出具检测报告,以公正、权威的非当事人身份开展检验活动。

深度学习算法评估的意义和作用主要体现在以下几个方面: 1、算法性能的度量和比较:评估深度学习算法的性能是算法研发和优化过程中不可缺少的一环。通过对比不同算法的性能,可以了解各种算法的优劣,为算法的改进提供依据。同时,对于相同算法,通过对比不同参数设置或不同数据集上的表现,可以评估算法在不同场景下的适应性。 2、算法问题的诊断:深度学习算法的评估结果可以用于诊断算法存在的问题。如果算法在某些方面的表现不佳,可以通过分析评估结果来定位问题所在,为改进算法提供突破口。例如,如果模型的预测准确率较低,那么可能需要检查模型的架构、训练数据的质量、训练过程的参数设置等方面。 3、算法的应用前景预测:深度学习算法的应用前景预测是算法评估的一个重要方面。通过评估深度学习算法在不同领域的应用效果,可以了解该算法在不同场景下的适用性,为算法的应用推广提供参考。例如,深度学习在图像识别、语音识别、自然语言处理等领域的应用已经得到了广泛认可,但在某些领域的应用效果可能还需要进一步探索和评估。 总之,深度学习算法评估是算法研发和应用过程中不可或缺的一环,它可以帮助研发人员了解算法的性能、问题和应用前景,为算法的优化、改进和推广提供依据。 然而,业界缺乏对深度学习算法的系统性评估方法,一定程度上影响着深度学习的广泛应用和技术发展。本文件此版本仅针对人工智能深度学习算法的基础性能、效率、可解释性、鲁棒性、安全性和公平性评估进行要求。随着研究的深入及应用的发展,后续将不断进行持续改进,逐渐扩展到深度学习算法可移植性等方面的评估。

成为VIP会员查看完整内容
68

相关内容

国家标准(national standard)是「由国家标准机构通过并公开发布的标准。」
专知会员服务
20+阅读 · 2021年10月9日
基于深度神经网络的高效视觉识别研究进展与新方向
专知会员服务
38+阅读 · 2021年8月31日
专知会员服务
119+阅读 · 2021年4月29日
2021年中国人工智能在工业领域的应用研究报告(附报告)
专知会员服务
219+阅读 · 2020年8月1日
零样本图像识别综述论文
专知会员服务
57+阅读 · 2020年4月4日
基于深度学习的数据融合方法研究综述
专知
31+阅读 · 2020年12月10日
深度学习模型可解释性的研究进展
专知
23+阅读 · 2020年8月1日
清华大学《高级机器学习》课程
专知
36+阅读 · 2020年7月21日
零样本图像识别综述论文
专知
21+阅读 · 2020年4月4日
孟小峰:机器学习与数据库技术融合
计算机研究与发展
14+阅读 · 2018年9月6日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
16+阅读 · 2018年5月5日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
机器学习必备手册
机器学习研究会
18+阅读 · 2017年10月24日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
360+阅读 · 2023年3月31日
Arxiv
126+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
专知会员服务
20+阅读 · 2021年10月9日
基于深度神经网络的高效视觉识别研究进展与新方向
专知会员服务
38+阅读 · 2021年8月31日
专知会员服务
119+阅读 · 2021年4月29日
2021年中国人工智能在工业领域的应用研究报告(附报告)
专知会员服务
219+阅读 · 2020年8月1日
零样本图像识别综述论文
专知会员服务
57+阅读 · 2020年4月4日
相关资讯
基于深度学习的数据融合方法研究综述
专知
31+阅读 · 2020年12月10日
深度学习模型可解释性的研究进展
专知
23+阅读 · 2020年8月1日
清华大学《高级机器学习》课程
专知
36+阅读 · 2020年7月21日
零样本图像识别综述论文
专知
21+阅读 · 2020年4月4日
孟小峰:机器学习与数据库技术融合
计算机研究与发展
14+阅读 · 2018年9月6日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
16+阅读 · 2018年5月5日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
机器学习必备手册
机器学习研究会
18+阅读 · 2017年10月24日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员