《探索军事背景下共享大语言模型：AI助手与智能体部署中可扩展性与效率的早期洞察》（含44页slides）

大语言模型（LLM）的部署正在不同应用中迅速扩展，这需要具有成本效益和资源效率的策略来优化其使用。本文研究了跨多个应用程序共享LLM的可扩展性、效率及性能权衡，解决了诸如GPU限制、并发管理和延迟优化等关键挑战。通过使用从消费级GPU到高性能云基础设施的三种实验设置，我们考察了提示词大小、模型大小和并发性对延迟、吞吐量和GPU利用率等指标的相互影响。

研究结果表明，共享LLM架构显著提高了资源效率，对于较长的提示词，并发性能将吞吐量提高2到4倍，对于较短的批量提示词，吞吐量提高超过20倍。然而，内存限制对可扩展性造成了制约，特别是对于大型模型和长提示词，其中延迟随上下文长度线性增加。实用建议包括：定制GPU配置以平衡内存和计算需求，利用批处理实现最佳利用率，以及通过缓存和负载均衡来缓解延迟。

本研究强调了共享LLM在降低成本和增强多应用场景可扩展性方面的战略价值，特别是在资源受限的领域（如国防）。研究结果为高效部署共享生成式AI系统提供了可行见解，同时为未来探索先进优化技术铺平了道路。

关键词—大语言模型（LLM），共享架构，GPU利用率，并发管理，可扩展性，延迟优化，资源效率，多智能体系统

A. 背景：跨应用共享LLM的需求

大语言模型（LLM）已成为从个性化辅助到高级分析等各种应用中的变革性工具。其日益普及凸显了对具有成本效益和资源效率的部署策略的需求。传统上，LLM部署在孤立的、为特定任务定制的环境中，这常常导致计算资源利用不足和运营成本增加。共享LLM提供了一个引人注目的替代方案，它允许多个应用并发访问同一模型，从而最大化硬件利用率并减少冗余。这种范式转变由几个因素驱动。首先，训练和托管LLM的高成本需要能够优化资源分配的方法。其次，GPU可用性的限制以及对可扩展AI解决方案日益增长的需求，凸显了共享部署架构的重要性。最后，通过利用共享LLM，组织可以提高可访问性和可负担性，从而推动AI技术的更广泛采用。

B. 挑战：并发性、延迟与可扩展性

尽管前景广阔，但跨应用共享LLM带来了显著的技术挑战。GPU资源是有限的，高并发性（即处理多个同时请求的能力）可能会在延迟和吞吐量方面引入权衡。延迟（即输入与模型响应之间的时间延迟）会随着提示词大小和资源争用而增加，影响实时性能。此外，实现可扩展性（即有效支持不断增长的工作负载）需要平衡GPU内存、计算能力和性能权衡。提示词长度和模型大小的可变性进一步使资源调度和内存管理复杂化。在保持高效率的同时确保可预测的性能，需要复杂的负载均衡和优化策略。

C. 目的与目标

本文研究共享LLM的性能权衡与收益。通过考察并发使用、提示词可变性和硬件限制如何影响延迟、吞吐量和可扩展性，本研究旨在为有效部署共享LLM提供可行见解。具体而言，该研究解决了以下问题：1. 并发使用如何提高GPU利用效率？2. 在不同并发条件下，模型和提示词大小对性能有何影响？3. 随着并发增加，GPU内存限制会引发哪些局限性？

D. 结构

本文组织结构如下：1. AI辅助技术的军事相关性：详细探讨共享LLM如何支持国防领域的作战需求，重点说明军事背景下的挑战和可扩展性要求。2. 相关工作：回顾关于LLM优化的现有研究、以并发性为重点的研究中的空白，以及共享架构的新兴技术。3. 方法论：描述用于评估共享LLM效率的实验设置、性能指标和测试场景。4. 结果与讨论：深入分析并发性、模型大小和提示词可变性对延迟和吞吐量的影响，并提供优化建议。5. 结论与未来工作：总结主要发现、研究局限性以及共享LLM部署的未来研究方向。本研究旨在增进对共享LLM效率的理解，为AI驱动系统中可扩展、成本效益高的部署策略奠定基础。

军事相关性

军事及北约内部对AI辅助技术日益增长的兴趣反映了一个明确趋势，即利用生成式AI模型（包括大语言模型）来增强作战能力。AI助手的试点项目和早期作战应用已在多个领域投入使用。这些AI驱动的助手正越来越多地融入职能领域系统（FAS）的支援功能中，协助完成编码、故障排除和问题解决等任务。此外，AI助手正被用于指挥与控制（C2）、后勤及联合情报、监视与侦察（JISR）领域，它们在其中提供关键的应用内支持、条令访问和情境感知信息，以改进使用、决策、数据质量和用户培训曲线。同时，以数据为中心的安全和网络安全领域也提出了生成式AI的应用案例。鉴于许多军事应用的分类和安全要求，大多数此类AI助手采用本地部署，以确保符合作战安全协议。这些应用正扩展到多域作战（MDO）等主题，其中正在开发AI驱动系统以增强数据处理流程并提供有针对性的决策支持，最终提高作战效率并支持更复杂的军事工作流程。

从硬件角度来看，军事领域在部署LLM驱动的应用时面临独特挑战，主要源于硬件限制，如有限的机架空间、电力和冷却能力。在无法使用基于云解决方案的断开连接、保密及部署（例如战术边缘）环境中，这些AI模型必须在本地托管，这就需要精心规划以最大化计算资源的效率。本文深入探讨了如何跨多个应用部署和共享不同规模的LLM，以优化计算资源并减少所需的物理空间。通过理解与较大模型相关的计算成本，本研究有助于为模型选择的决策过程提供信息，并考虑是使用更强大的大型模型还是使用为特定任务定制的、经过精调的小型模型。这种方法符合北约关于人工智能和绿色IT的战略与政策，确保在减少与高能耗计算操作相关的环境影响的同时，有效利用资源。

此外，本文通过提供关于LLM可扩展性的基础性见解，为未来规划做出贡献。该研究旨在为围绕生成式AI技术部署的战略决策提供信息，例如是采用更节能的模型，还是优化现有基础设施以跨多个作战场景扩展应用。虽然本研究未涉及军事环境中生成式AI的长期可扩展性或未来需求，但它为理解应用间资源共享如何实现效率提供了一个有用的起点，从而提升整个北约范围内AI解决方案的有效性和可持续性。