北约STO 最新78页报告《基于人工智能的系统的人类控制： 技术评估报告、主题观点和相关方案》

在联合国《特定常规武器公约》（CCW）组织的2016年专家会议上，有意义的人类控制（MHC）作为一个重要概念出现。虽然这个概念与自主武器有关，但它可以更普遍地适用于基于人工智能的军事系统（包括物理和信息），作为保障此类系统的道德行为、问责制和有效作战性能包络的关键要求。

本次研讨会的核心目标不是要重复国家和国际层面上正在进行的关于人机界面的法律和道德的努力。相反，它是为了从这些正在进行的讨论中学习，运用一种完全植根于人类因素和认知科学理解的观点来解决问题，从而提炼出一套实用的以人为本的准则，为北约在这个日益重要的领域的未来行动提供参考。鉴于MHC的多面性，本次研讨会选择了六个主题进行深入研究。每个与会者都被分配到这些主题中的一个，通过以主题为重点的小型分组会议进行探讨。

这些主题是：

1. 人的因素，组织，和MHC的操作考虑因素
2. 实现MHC的人为因素启发的设计准则
   3）验证MHC的系统工程方法和衡量标准
   4）敌方对MHC的利用
3. 复杂的社会-技术系统
   6）人类-人工智能团队的道德责任

本次研讨会的结果可以直接为高度集中的后续活动提供建议，这些活动可以让北约了解如何在广泛的人工智能应用中识别、实现、维护和重新获得MHC。研讨会的结果可以总结为一个 "五大 "清单，即反复提到的、可能需要进一步调查的问题：

1）信任：人机和人与人之间的信任都要跨越组织或系统的界限。虽然不精确，但 "信任 "确实抓住了关系、思维模式和考虑因素的核心，这对成功的人与人工智能团队合作至关重要。在这个广泛的主题内的考虑因素包括感知的性能（和影响它的因素），感知的效用和必要性，依赖的可取性，对人类和人工智能系统的优势和劣势的理解，进入依赖行为的更广泛的社会组织动态，甚至遗传和心理倾向。

2）人机团队的认证：作为对机器系统的验证和核实的替代或增强。

3）评估、方法和度量：能够评估各种环境和系统中人机交互的存在、不存在以及最好是评估其程度，似乎是绝对的核心，大多数主题都有助于这一主题，或者需要这一主题的产出。

4）对不确定性的认识（行为的、背景的、结果的等）：同样，由于对系统设计的结果或指令行为的绝对了解可能永远不可能，任何MHC测量或评估方法都必须处理不确定性。表述并向用户传达这一点似乎对MHC非常有用。

5. 语义差距/表述不匹配：理解和表述（最好是识别和预测）组织中、个人之间，特别是人类和人工智能系统之间的语义差距困难的前景，看起来既是在可行性的边界上，也将大大有助于减少误解，因为误解可能导致有效的人机交互的损失。