《理解、评估和缓解人工智能系统中的安全风险》美海军67页论文

传统的软件安全技术依赖于根据规范来验证软件。然而，在人工智能系统中，规范通常是隐式的(例如，在专家系统和规则引擎中，通过描述事实和演绎规则来诱导行为，并允许推理引擎根据预先设置的组合模式重新组合它们)或归纳定义的(例如，在机器学习系统中，目标是识别并重复聚合数据集中的预测模式)。规范是隐式地从数据集和模型的一些参数中派生出来的)。从数据驱动分析中提取见解的方法同样是归纳定义的，并且容易产生抽样误差，因为实际数据集无法全面覆盖真实物理环境中的所有可能事件，而真实物理环境通常具有无限的可能性集。因此，传统的软件验证方法可能不能直接应用于这些新系统，使系统安全分析的操作复杂化(如MIL-STD 882E中实现的)。然而，人工智能提供了先进的功能，并且需要确保依赖这些功能的系统的安全。当AI技术部署在武器系统、机器人或规划系统中时，可能会发生不希望发生的事件。有几种技术可用于支持评估过程，以理解人工智能系统中不希望发生的事件的性质和可能性，并对海军采用做出风险决策。这项研究考虑了其中的几种技术，并评估哪些技术最有可能被采用、可用和正确。技术包括软件分析、模拟环境和数学判断。