《美国国防部大型预训练模型的研究挑战》美陆军实验室最新31页slides

用于美国国防部人工智能的大型预训练模型

• LPTMs （如 GPT-4）已显示出与美国防部众多用例相关的显著新兴能力
• 它们在大量无标注数据（规模+ 自我监督）上进行训练，并适应下游任务（迁移学习）
• LPTMs （如 GPT-4）已显示出与多种国防部用例相关的显著新兴能力
• 它们在大量无标记数据上进行训练（规模+ 自我监督），并适应下游任务（迁移学习）
• 旧范式包括在标注（真实/合成）数据集上训练专门模型
• LPTMs （如 GPT-4）已显示出与多种国防部任务相关的显著新兴能力
• 它们在大量无标记数据（规模+ 自我监督）上进行训练，并适应下游任务（迁移学习）
• LPTM 为以这些模型为起点的人工智能系统引入了新的范式
• ARL 主办关于 LPTMs 的机遇、挑战和应用的科学会议（2023 年 11 月 14-16 日）
  • 来自美陆军（如陆军、空军、海军、CDAO、OUSD R&E）、学术界（如麻省理工学院、斯坦福大学、华盛顿大学、加州大学伯克利分校）和工业界（如微软、谷歌、英伟达、Meta、Scale AI）的广泛参与

美国国防部计算基础设施

• LLM 随模型大小、训练数据和用于训练的计算量的增加而呈幂律提高
• LLM 随模型规模、训练数据和用于训练的计算量的增加而呈幂律提高
• 大多数架构进步低于 10,000 petaflops（如变压器），但大多数能力进步超过 10,000,000 petaflops（约 600 H100 GPU）
• 如果想拥有独立领先的美国防部生态系统，就需要为人工智能研发提供多层次的计算基础设施
  • 团队级：研究团队优先使用（40 个 H100 GPU）
  • 机构级： 服务实验室或大学集群（10,000 个 H100 GPU）
  • 国家计算中心：为跨机构大型项目访问各类研究人员（100,000 H100 GPU）
  • 新前沿中心 超越行政命令门槛（1026 flops）。国际合作。与其他大型人类项目一样进行投资（如强子对撞机，约 50 亿美元）（100 万 H100 GPU）
• 与 NAIRR 建议一致（但扩大了该建议的范围）

结论

• LPTM 为美国防部的人工智能提供了一个强大的新范例，对从简单（如文本摘要）到复杂用例（如开放式世界推理）都有广泛影响。
• 美国防部必须在贯穿各种使用案例的核心领域领导合作研究
  • 美国防部与学术界和产业界在技术上的平等是实现美国人工智能战略利益的核心所在
  • 服务实验室应在这一努力中发挥核心作用
• 将研究重点放在机遇和风险缓解上
  • 与过渡合作伙伴密切合作，以应对多种使用情况
• 需要对计算基础设施进行重大投资，以支持国防部的人工智能研发生态系统
  • 在团队、机构、国家和国际层面采取多层次方法。如何处理不断变化的硬件要求？如何在国防部、学术界和产业界之间共享计算？