会员服务 ·

推荐！【中文版】瑞典国防研究局《可解释人工智能：探索XAI技术在军事深度学习中的应用》56页技术报告

2022 年 7 月 8 日 专知

导语：本报告描述了瑞典国防研究局关于可解释人工智能（XAI）方面的研究工作，详细介绍了XAI技术概念与方法。专知做了中文编译，欢迎关注，完整中英文版请上专知网站(www.zhuanzhi.ai)查看！

欢迎关注专知【AI+军事】主题：

https://www.zhuanzhi.ai/topic/2001883600396423

以下为正文：

由于人工智能（AI）、机器学习，特别是深度学习的进步，可解释人工智能（XAI）研究领域最近受到了很多关注。XAI是一个研究领域，重点是确保人工智能系统的推理和决策可以向人类用户解释。在军事背景下，这种解释通常是为了确保：

人类用户对他们操作的人工智能系统有适当的心智模型。
专家可以从人工智能系统及其隐藏的战术和战略行为中获得洞察力并提取知识。
人工智能系统遵守国际和国家法律。
开发人员甚至在部署前就能发现人工智能系统的缺陷或漏洞。

本报告的目的是为基于深度学习的人工智能系统提供解释而开发的XAI技术。这类系统本身就很难解释，因为它们所模拟的过程往往过于复杂，无法使用可解释的替代方法来建模。

尽管深度学习XAI领域仍处于起步阶段，但科学文献中已经提出了许多解释技术。今天的XAI技术主要用于开发目的（即识别错误）。需要进行更多的研究来得出结论，这些技术是否也有助于支持用户为他们所操作的人工智能系统建立适当的心智模型、战术开发，并确保未来的军事人工智能系统遵循国家和国际法律。

关键词

人工智能、可解释人工智能、透明度、机器学习、深度学习、深度神经网络

1 引言

人工智能（AI）是一个对瑞典[1]和瑞典武装部队（SwAF）具有战略意义的研究领域。当今人工智能成功的主要因素是机器学习（ML）的突破，更确切地说，是深度学习（DL）的突破。DL是一种潜在的颠覆性技术，使我们能够使用深度神经网络（DNN）来模拟以前使用传统技术无法模拟的复杂过程。例如，DL可以用来准确地转录（语音到文本）[2，3]，翻译（文本到文本）[4]，合成语音（文本到语音）[5]，玩实时战略游戏（视频到行动）[6，7]，读取唇语（视频到文本）[8]，识别人脸（图像到身份）[9]和控制自动驾驶车辆（视频到行动）[10，11]。

然而，DL仍然处于起步阶段，没有一个数学框架可以用来保证模型的正确性[12]。因此，在军事应用中开发、部署、使用和维护DNN模型时，有许多挑战需要考虑和解决。

从军事用户（操作员、数据分析师等）的角度来看，最重要的挑战也许是可解释性。根据经验，当人的生命受到严重影响时，对可解释性的需求更大。在军事领域是这样，在医学、执法和其他民事服务领域也是如此。可解释性很重要，因为它影响着用户对系统的信任和依赖。信任关系必须是平衡的；过多的信任可能导致对系统的误用，而过少的信任则可能导致对系统的完全废弃[13]。最终，解释的目的是帮助用户建立一个适当的系统心智模型，以确保它能被有效使用[14]。

深度学习有可能改善复杂军事系统的自主性，如战斗机、潜艇、无人机和卫星监视系统。然而，它也会使这些系统变得更加复杂和难以解释。主要原因是，DL是一种端到端的机器学习技术，意味着机器学习从输入数据中提取最重要的特征，以实现高性能。这被称为表征学习，它与传统技术不同，传统技术是用人类的直觉来手动提取这种特征。表征学习往往能带来高性能，但它也要求模型具有高度的表现力和非线性。因此，使用DL训练的DNN可能由数百万甚至数十亿的参数组成。这使得它们很难向人类解释和说明，即使学习算法、模型结构、训练数据等都是已知的和很好理解的。

美国国防部高级研究计划局（DARPA）于2016年启动的可解释人工智能（XAI）计划也许是为解决这一挑战而采取的最全面的军事举措。该计划的目的是：