苏格兰哲学家大卫-休谟指出，“人类有一种普遍的倾向，就是把所有生命都想象成自己......我们在月亮中发现面孔，在云朵中发现陆军”。人类总是喜欢拟人化，即把类似人类的特征赋予非人类。心理学家、哲学家和人类学家将拟人化的起源视为一种进化和认知适应特征，尤其是在有神论宗教方面。学者们推测，出于进化的原因，类人猿等早期类人猿将云朵和岩石等模糊的形状和物体解释为脸或身体，以提高其基因适应性，从而避免捕食动物和其他威胁（被称为 “万物有灵论”）。对于猎人来说，把巨石误认为熊要比把熊误认为巨石好得多。这种拟人化倾向，即把类似人类的特征赋予非人类的倾向，对军事人工智能有着重大影响。
人工智能技术已被注入军用机器。可以在没有人类干预的情况下进行攻击的自主武器已经在多种情况下为人类战斗机飞行员提供了支持，包括在空中加油、为重型轰炸机护航以及充当诱饵吸收敌方火力。许多支持人工智能的机器在外观和行为上都与人类无异。人机混合团队要想有效合作，就需要具备人类士兵团队所依赖的相同品质：信任、接受、宽容和社会联系。虽然人工智能技术在人机互动中的局限性已为人们所熟知，但我们将人工智能体拟人化的自然倾向对混合军事行动的心理和动机方面的影响却很少受到关注。人工智能拟人化如何影响人机作战？这一现象又会带来哪些潜在后果？
人工智能设计中的拟人化
人类用户感知与人工智能系统互动的方式在一定程度上受到设计者刻意选择的影响。从对阿兰-图灵的早期计算机器的描绘，到大型语言模型聊天机器人（如 OpenAI 的 ChatGPT、微软的 Copilot 和谷歌的 Gemini）的现代技术声誉，研究人员在提及人工智能系统时经常使用类似人类的特征、概念（如 “理解”、“学习 ”和 “智能”）和专业知识，以突出人类和人工智能算法的相似性。设计师们创造的机器（如机器人、数字助理、头像和社交机器人）具有类似人类的特征，能激发人类对其他人类所表现出的熟悉的心理态度，包括信任、可靠和控制感。然而，流行文化和媒体报道倾向于强调人工智能和机器人的类人特质（如情感、认知、智商、意识和道德），这无意中传播了关于人工智能能做什么和不能做什么的错误观念。批评者认为，这些概念化误导了系统操作员，让他们相信人工智能能像人类一样通过直觉、感知、内省、记忆、理性和证词来理解世界。
人工智能武器系统的成功强化了这样一种观点，即拟人化是当前人工智能驱动的人机交互的基本特征。一些自主武器系统备受瞩目的成功进一步加剧了公众和科学界的担忧，即人工智能的发展取决于对人脑和人类心理的模仿。实际上，设计有效的拟人化人工智能系统说起来容易做起来难。人类交互模式的复杂性使得人机交互不仅涉及心理复制，还涉及文化和社会层面。即使人机界面纯粹是认知性的，人类认知中的神经多样性也着实令人震惊。
战术混合团队中的军事人机互动
人工智能增强技术可支持多种作战能力，如无人驾驶水下、地面和空中飞行器；无人驾驶四足地面飞行器；交互式化身机器人；支持指挥决策的数字助理和化身，包括面部和语音识别，以解读敌方意图并预测其行为。
波音公司和美国空军正在合作开发一个 “忠诚僚机 ”项目，该项目由能够与第五代 F-35 战斗机编队飞行的超音速自主战斗无人机组成。智能体将导航并操纵其环境，选择最佳任务解决策略，并在自主联合攻击任务中保卫喷气式战斗机。最近，无监督、预训练的深度学习（机器学习的一个子领域）网络已在自主飞行器上进行了测试，以应对现实世界中的非线性问题。然而，这些新的机器学习方法在对安全至关重要的非线性环境中并不可靠。类似的研究表明，当人工智能的行为和意图被人类驾驶员准确感知、预期和传达时，混合团队合作就能得到优化。拟人化的提示和术语有助于实现这一目标。例如，社交机器人研究表明，人机互动成功的一个关键前提条件是人类如何感知非人类智能体的专业知识、情感投入和感知反应。最近的研究还表明，拟人化的数字助理和化身在人类看来比非拟人化的数字助理和化身更智能、更可信。
拟人化还能影响人工智能技术（如聊天机器人、深度伪造技术和人工智能增强型对抗攻击）如何放大欺骗策略和信息操纵。例如，在非对称进攻行动中使用新一代人工智能增强型空中作战无人机，如 “洛亚翼人”（Loyal Wingman）飞机，人工智能系统可能会被训练--或最终自主 “学习”--抑制或使用特定的拟人化线索和特征来生成假旗或其他虚假信息行动。这样，人工智能拟人化就能为军方提供重大而新颖的战术优势，尤其是在信息不对称的情况下。一般来说，解读身体近距离接触的人类战斗人员的精神状态（通过其手势和面部表情）比解读无人机、数字助理和其他隐藏手势和面部表情的载体的精神状态要容易得多。因此，了解拟人化的决定因素和驱动因素，就能了解在什么条件下这些效果会产生最大影响。归根结底，设计用于混合组队的智能体时，必须同时考虑拟人化的积极和潜在负面心理影响。
军事人工智能拟人化的后果
在战争中，将人工智能体视为具有类似人类的特质，对感知者和人工智能体都会产生重大的伦理、道德和规范影响。明示或暗示地将人类特征赋予人工智能，会使混合团队中的士兵面临相当大的生理和心理风险。
伦理道德
当个人将类似人类的特质赋予军事领域的人工智能代理时，人类感知者和相关人工智能实体都会面临许多积极和消极的伦理、道德和规范后果。
在机器的语境中，“伦理”、“智能 ”和 “负责任 ”等拟人化术语可能会导致错误的说法，暗示无生命的人工智能代理能够进行道德推理、同情、共情和怜悯--因此在战争中可能会比人类采取更合乎伦理和人道的行动。这种期望可能会促使人们从将人工智能技术视为支持军事行动的工具转变为道德权威的来源。欧洲遥控航空系统指导小组在其无人机报告中指出，“公民将期望无人机拥有与人类相当的道德行为，尊重一些普遍接受的规则”。战争中的人工智能伦理推理将与以人为中心的概念截然不同。从哲学和语义上讲，人们很容易将机器的伦理行为（功能伦理）与人类在作战环境中使用机器的伦理行为（作战伦理）混为一谈。
在最近一份关于自主武器作用的报告中，美国国防部国防科学委员会暗指了这一问题，并得出结论：“把无人系统当作有足够的独立机构来推理道德问题，会分散设计适当的交战规则和确保作战道德的注意力”。使用拟人化的语言将人类的道德和推理与机器的归纳、统计推理混为一谈--在错误的前提下认为两者是相似的--有可能将我们对道德决策的控制权拱手让给机器。简而言之，赋予人工智能系统以人类为中心的代理权在伦理或道德上并不是中性的。相反，它是将人工智能作为新兴技术的诸多挑战概念化的关键障碍。
信任与责任
如果军事人员认为人工智能体比他们更能干、更智能（自动化偏差），那么在执行需要人机协作的任务时，如目标捕获、情报收集或战场态势感知评估时，他们可能会更容易产生 “社会闲散 ”或自满情绪。例如，使用防抱死制动系统的驾驶员比不使用防抱死制动系统的驾驶员开得更快，更接近前方车辆。由于对人工智能系统如何做出决策缺乏了解，这个问题被称为 “黑盒子问题”，因此人工智能体出现意外后果的风险甚至更高。如下文所述，其中一些风险可以通过适当的监控、设计和培训来降低和控制。
当机器的性能达到或超过人类时，人们往往会错误地推断出人类特征与机器之间的内在联系。此外，人们更容易对使用类人界面的任务的成败感到责任较轻，在技术出现故障时将智能体视为替罪羊。然而，如果人工智能体在战斗中的决策和行动看起来 “像人”，这甚至会增加设计算法或在混合组队中与人工智能体合作的人类的感知责任。矛盾的是，自主性和机器智能的进步可能需要人类操作员做出更多而不是更少的贡献，以应对算法训练参数之外不可避免的意外突发事件。
战争的非人化
使人们倾向于赋予人类相似品质的心理机制，也能加深我们对何时以及为何人们会做出相反行为的理解。如果人机交互中的人工智能武器系统被拟人化，使人类作战人员在身体和心理上进一步远离战场，士兵们就有可能习惯于将敌人视为无生命的物体，既不卑鄙也不邪恶，没有内在价值。虽然与非人性化敌人相关的 “情感脱离 ”被认为有利于提高作战效率和战术决策，但互动水平的降低也会降低理解、发展社会联系或与他人产生共鸣的愿望，从而导致非人性化。
把人工智能系统当作值得信赖的智能体，也会使用户对人工智能体形成不恰当的依恋。最近一项关于大流行病期间社交聊天机器人使用情况的研究支持了这一观点，该研究发现，当面临威胁或压力（如孤独、焦虑或恐惧）时，人类用户会在人机协作中接受更多接触。 此外，这种倾向还增加了人类与聊天机器人之间的情感联系。虽然社交聊天机器人是数字化、预测性的工具，但它们被设计成有名字甚至有个性的人，这导致社会把它们当作有意识的人对待。
由此推论，拟人化混合组队中的士兵可能会（1）认为他们的人工智能 “队友 ”比人类对手更值得保护和照顾，和/或（2）陶醉于他们对对手的力量，从而更倾向于将敌人非人化，为过去的错误行为和过度的、可能不道德的侵略行为辩护。
结论：管理未来的人机协作
人工智能拟人化及其对军事混合协作中人机互动的影响，需要得到人工智能和国防研究界、其用户以及社会技术生态系统更广泛成员的认可和理解，只有这样，他们才能现实地预测与混合战术团队合作相关的机遇、挑战和风险。部署高度自主的人工智能体需要面对一系列社会技术和心理挑战。人类作战人员必须了解有关功能的人工智能算法设计；人类和机器在感知、认知和判断方面的局限性和偏差；以及将决策权委托给机器所带来的风险。
政策制定者、设计者和用户应考虑采取几种可能的措施，以最大限度地发挥未来人机界面的优势，最大限度地降低其风险。首先，人工智能驱动的系统在设计上应监控偏差、错误、对抗行为和潜在的拟人风险。决策者还应在人工智能系统中纳入 “人类 ”道德规范，同时保留人类作为道德体的作用，将人类作为失效安全装置留在环路中。其次，强调 “有意义的人类控制 ”的人类操作员培训可以培养一种集体警惕文化，防止混合团队中的自动化偏见和自满情绪。第三，军队应教育作战人员和辅助人员了解将智能体拟人化可能带来的好处和风险。第四，必须规范人机界面，以消除非人性化、群体思维和其他与分散道德责任相关的潜在影响。具体来说，在部署技术之前，应该对政策、安全、法律和伦理问题进行审查，专业军事教育需要包括这些方面的培训，特别是如何应对人机交互的实际需求、现实情况以及法律和伦理方面的考虑。各国军队还应密切协调部队结构决策与训练演习，以最大限度地实现人机交流，尤其是在指挥链之间的交流受到限制或破坏时。
这些工作应优化人机交流，并在人机互动中建立适当的信任、接受和容忍度。确保人类操作在整个决策过程中的积极性，可以改善用户对人工智能系统的看法。适当调整用户对人机交互的信任和信心，从而最大限度地提高团队合作的成功率，这仍然具有挑战性。
参考来源：war on the rocks
相关内容
微信扫码咨询专知VIP会员