大国竞争已在全球范围内升级,这使得国防部采用先进且安全的人工智能技术变得日益重要。大语言模型能够基于训练数据集生成文本、代码、图像和其他数字内容,因其在数据分析、情报处理和通信等国防部应用中的潜力而备受关注。然而,由于大语言模型复杂的架构和对大量数据的依赖,将其集成到国防作战中带来了独特的网络安全挑战。如果管理不当,这些风险可能对国家安全和任务完整性构成严重威胁。本综述论文将这些挑战分为以漏洞为中心的风险,以及以威胁为中心的风险,提供了一个全面的框架,以理解大语言模型在国防部环境中的潜在风险。对每个类别进行了审视,以识别主要风险、当前的缓解策略以及潜在的差距,最终确定需要进一步研究的领域。通过总结大语言模型网络安全的最新技术水平,本文旨在为理解国防部内的大语言模型安全提供基础。通过倡导一种双重考量方法,即同时考虑网络威胁不断演变的本质和国防部的作战需求,本文旨在提供可行的建议,以指导将大语言模型集成到国防部作战中的持续研究。

大语言模型在美国防部作战中的角色

美国防部已经认识到大语言模型在提升作战效率和决策流程方面的变革潜力。正如美国防部副部长所言:“国防部迫切需要探索这项技术的应用,并利用这些模型在规模、速度和交互能力方面的潜力来提高部门的任务效能,同时识别适当的保护措施并减轻各种相关风险。”作为在美国空军内部推进安全、负责任的人工智能技术的一项工作,美空军研究实验室开发了NIPRGPT,这是一个获准安装在美国空军非密级系统上的大语言模型。其他大语言模型应用案例包括:空中机动司令部利用大语言模型生成战役模拟;美国空军中央司令部使用大语言模型来加速软件工具的日常维护。大语言模型有潜力变革信息处理、规划和决策等流程,并协助军事演习。它们可用于合成情报报告、总结机密文件,并通过识别文本数据中的模式来协助威胁检测。在“Bravo 11”黑客松活动中,美国太平洋空军团队展示了大语言模型在情报处理和报告摘要方面的部署潜力。这些能力可以增强实时作战决策,并可应用于适应性任务规划。Weller等人近期的研究也声称,大语言模型可以成为在多域作战中加强兵棋推演的有用工具,它能有效地生成逼真且实时的想定叙事。此外,通过协助人类操作员收集、分析和评估数据,大语言模型可以助力情报、监视、目标获取与侦察流程。最后,大语言模型可能有助于减少指挥官的行政事务负担,并将人员从行政岗位重新分配到作战岗位。其可扩展性和适应性使其非常适合像国防作战这样高需求、数据密集的环境。然而,如《美国防部人工智能伦理使用原则:建议》中所描述的,人工智能模型仍处于早期阶段,国防部门将这些模型视为虚拟助手,而非人类的替代品。

大语言模型以漏洞为中心的风险

大语言模型在国防部门应用中不可或缺,然而,正如Yao等人所指出的,正是使大语言模型如此强大的架构,也引入了对手可加以利用的漏洞。本节界定具体的、以漏洞为中心的风险,并评估当前的缓解策略,重点聚焦于数据泄露、意外偏见、虚假信息以及与国防部门政策不一致的问题。

大语言模型以威胁为中心的风险

除内部弱点外,大语言模型也面临外部的对抗性威胁。这些以威胁为中心的风险代表了对手为操纵、破坏或欺骗而蓄意利用大语言模型能力的行径。本节探讨关键的、以威胁为中心的风险——提示词操控、输入攻击、数据投毒和模型破坏——及其相关风险与缓解策略。

成为VIP会员查看完整内容
1

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
《空战战术多智能体强化学习中的可解释性》最新报告
专知会员服务
81+阅读 · 2024年10月25日
《国防大型语言模型:挑战与机遇》最新70页报告
专知会员服务
84+阅读 · 2024年8月23日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
493+阅读 · 2023年3月31日
Arxiv
177+阅读 · 2023年3月24日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员