生成式基座大模型正在引发人工智能领域的重大变革，在自然语言处理、多模态理解与内容合成等任务展现通用能力。大模型部署于云侧提供通用智能服务，但面临时延大、个性化不足等关键挑战，小模型部署于端侧捕捉个性化场景数据，但存在泛化性不足的难题。大小模型端云协同技术旨在结合大模型通用能力和小模型专用能力，以协同交互方式学习演化进而赋能下游垂直行业场景。本文以大语言模型和多模态大模型为代表，梳理生成式基座大模型的主流架构、典型预训练技术和适配微调等方法，介绍在大模型背景下模型剪枝、模型量化和知识蒸馏等大模型小型化关键技术的发展历史和研究近况，依据模型间协作目的及协同原理异同，提出大小模型协同训练、协同推理和协同规划的协同进化分类方法，概述端云模型双向蒸馏、模块化设计和生成式智能体等系列代表性新技术、新思路。总体而言，本文从生成式基座大模型、大模型小型化技术和大小模型端云协同方式3个方面探讨大小模型协同进化的国际和国内发展现状，对比优势和差距，并从应用前景、模型架构设计、垂直领域模型融合、个性化和安全可信挑战等层面分析基座赋能发展趋势。
大小模型端云协同进化技术进展
本研究提出了一种可增长且模块化的神经网络架构，用于持续强化学习，能够自然地避免灾难性遗忘与任务间干扰。该架构中每个模块的结构支持将以往策略与自身内部策略有选择地组合，从而加速当前任务的学习过程。与以往的可增长神经网络方法不同，我们证明了所提出方法的参数数量随任务数量呈线性增长，且在扩展规模的同时不牺牲模型的可塑性。
在标准的连续控制与视觉任务基准测试中，实验结果表明该方法在知识迁移与性能方面均优于现有的其他方法。
了解 GPT、Gemini 等大型语言模型的原理（通俗易懂）
《How Large Language Models Work》（大型语言模型的工作原理）将多年关于大型语言模型（LLMs）的专家研究成果，转化为一本可读性强、内容聚焦的入门读物，帮助你掌握这些令人惊叹的系统。书中清晰解释了 LLM 的工作机制，介绍了优化与微调方法，以及如何构建高效、可靠的 AI 应用流程和管道。
**你将在本书中学到：
如何测试与评估 LLM * 如何使用人类反馈、监督微调和检索增强生成（RAG）技术 * 如何降低错误输出、高风险失误和自动化偏差的风险 * 如何构建人机交互系统 * 如何将 LLM 与传统机器学习方法相结合
本书由 Booz Allen Hamilton 的顶尖机器学习研究人员撰写，包括研究员 Stella Biderman、AI/ML 研究总监 Drew Farris 和新兴 AI 研究总监 Edward Raff。他们用通俗易懂的语言，深入浅出地讲解了 LLM 和 GPT 技术的运作原理，适合所有读者阅读和理解。
技术背景介绍
大型语言模型为“人工智能”中的“I”（智能）赋予了实质含义。通过连接来自数十亿文档中的词语、概念与模式，LLM 能够生成类似人类的自然语言回应，这正是 ChatGPT、Claude 和 Deep-Seek 等工具令人惊艳的原因所在。在这本内容翔实又富有趣味的书中，来自 Booz Allen Hamilton 的全球顶尖机器学习研究人员将带你探讨 LLM 的基本原理、机遇与局限，并介绍如何将 AI 融入组织与应用中。
图书内容简介
《How Large Language Models Work》将带你深入了解 LLM 的内部运作机制，逐步揭示从自然语言提示到清晰文本生成的全过程。书中采用平实语言，讲解 LLM 的构建方式、错误成因，以及如何设计可靠的 AI 解决方案。同时你还将了解 LLM 的“思维方式”、如何构建基于 LLM 的智能体与问答系统，以及如何处理相关的伦理、法律与安全问题。
**书中内容包括：
如何定制 LLM 以满足具体应用需求 * 如何降低错误输出和偏差风险 * 破解 LLM 的常见误解 * LLM 在语言处理之外的更多能力
适读人群
无需具备机器学习或人工智能相关知识，初学者亦可放心阅读。
作者简介
Edward Raff 是 Booz Allen Hamilton 的新兴 AI 总监，领导该公司机器学习研究团队。他在医疗、自然语言处理、计算机视觉和网络安全等多个领域从事 AI/ML 基础研究，著有《Inside Deep Learning》。Raff 博士已在顶级 AI 会议发表超过 100 篇研究论文，是 Java Statistical Analysis Tool 库的作者，美国人工智能促进协会资深会员，曾两度担任“应用机器学习与信息技术大会”及“网络安全人工智能研讨会”主席。他的研究成果已被全球多个杀毒软件厂商采纳并部署。 Drew Farris 是一位资深软件开发者与技术顾问，专注于大规模分析、分布式计算与机器学习。曾在 TextWise 公司工作，开发结合自然语言处理、分类与可视化的文本管理与检索系统。他参与多个开源项目，包括 Apache Mahout、Lucene 和 Solr，并拥有雪城大学信息学院的信息资源管理硕士学位与计算机图形学学士学位。 Stella Biderman 是 Booz Allen Hamilton 的机器学习研究员，同时担任非营利研究机构 EleutherAI 的执行董事。她是开源人工智能的重要倡导者，参与训练了多个世界领先的开源 AI 模型。Biderman 拥有佐治亚理工学院计算机科学硕士学位，以及芝加哥大学的数学与哲学学士学位。
目录一览
大局观：LLM 是什么？ 1. 分词器：LLM 如何“看”世界 1. Transformer：输入如何变成输出 1. LLM 是如何学习的 1. 如何约束 LLM 的行为 1. 超越自然语言处理 1. 对 LLM 的误解、局限与能力 1. 如何用 LLM 设计解决方案 1. 构建与使用 LLM 的伦理问题
报告深入探讨了人工智能技术在多个行业中的应用现状与未来趋势，为政府、企业及相关研究机构提供了详尽的数据支持和战略建议。
首先，报告从宏观角度出发，分析了全球及中国的人工智能产业发展背景，指出随着计算能力的提升、大数据时代的到来以及算法模型的不断优化，AI正以前所未有的速度改变着各行各业。接着，通过对智能制造、智慧医疗、金融科技、智慧城市等领域的具体案例研究，展示了AI如何通过提高效率、降低成本来推动产业升级转型，并指出了当前面临的主要挑战，如数据安全问题、伦理道德考量等。
此外，还特别强调了跨学科融合对于促进AI创新的重要性，呼吁加强基础科学研究与应用实践之间的联系。最后，报告提出了构建开放合作生态系统的倡议，鼓励社会各界共同参与制定行业标准、培养专业人才，以实现更加健康可持续的发展模式。
整体而言，这份研究不仅全面反映了现阶段我国乃至全世界范围内“人工智能+”行业的最新进展，也为相关从业者把握机遇、应对风险提供了重要参考。
**
**
人工智能模型正越来越多地被用于人类相关的应用场景，从临床诊断工具到通用型助手不等。随着这些模型的普及与能力不断增强，我们亟需对人机交互有更深入的理解。在本论文中，我主张：要实现高效的人机交互，必须将人类用户直接纳入人工智能系统的设计与优化过程中。 首先，我介绍了我在开发一种可为皮肤病患者提供实时指导的人工智能机制方面的研究，该机制显著提升了远程医疗中数据采集的质量。接着，我描述了我构建的一种人类行为算法模型，并展示了该模型如何用于调整人工智能的目标函数，从而优化模型以实现更佳的人机协同表现。 此外，我还展示了我对用户偏好与生成式模型交互模式的分析工作，旨在理解用户的交互策略、量化人工智能的可引导性（steerability），并更准确地刻画人类用户特征，这对于个性化系统构建与模型评估至关重要。 通过上述研究，我提出一个核心观点：必须将人类视为模型设计与优化过程中的核心组成部分，才能构建更具协作性的人工智能系统。
在俄罗斯乌克兰战场观察到的无人机广泛使用——无论是在部署机群的规模上，还是在交战双方作战中的普遍存在性上——似乎都满足了一场真正军事革命的条件。“无人化”（Dronization）不能被简化为纯粹的技术革新或特定类别的装备。它是一种变革性原则，可与上世纪（20世纪）的摩托化和机械化相提并论。它体现在无人机向消耗性、适应性工具的演变，“参与式战争”的出现，以及作战样式向“多火种、多领域”作战的转变。对于欧洲部队模式而言，乌克兰的例子应推动建立支持“无人化”所需的数字化、工业化和人力生态系统：构建统一的信息与决策支持系统，在武装部队内部培育“无人机文化”，并且短期内聚焦于“无人化”的“高端”领域——即远程打击能力。
“无人化”与21世纪“新军队”问题
呼应了二十世纪（20世纪）初的辩论，乌克兰战争证明了战场火力的复兴以及新释放力量的融合——当时由工业化推动，如今则由数字化驱动。这场变革的核心在于21世纪“新军队”的问题。要达成如此关键的转折点，不仅需要在战术领域——装备和程序——而且更需要在组织层面，甚至更重要的是在认知结构层面——也就是战争本身的定义、胜利理论和战略文化——实现发明与改革的协同效应。
无论是前线部队因作战紧迫性而触发，还是由自上而下的指令发起，“军事事务革命”（revolution in military affairs）迫使所有交战方都必须适应，尽管它们的应对方式会因其偏好、对利害关系的理解以及可用资源的不同而有所差异。由于战争既是进行战争社会的反映，也是其表现形式，一场军事革命必然预示或伴随着生产方式、社会经济秩序以及军民动员机制的转变。
“无人化”显然符合这些条件。它不仅仅是一种技术演进，其影响也非仅仅是渐进式的或局限于特定类型武器。它代表着一个更广泛的军事转型过程，类似于二十世纪的机械化和摩托化。它不仅影响作战构想，也影响生成、构建和运用力量所需的组织。然而，迄今为止，相关辩论往往仍是碎片化的。在“陆-空濒海”（Ground-Air Littoral）概念下，美军正在分析战术领域精确打击范围扩展和规模扩大所产生的影响。
他们的重点在于其制空权模式下，融合地面火力、空袭和电子战所产生的摩擦。在学术界，讨论的中心是信息时代中公民和军事参与的新形式。据说这种范式正在助长一场由联网个体直接资助和塑造防务努力的“众筹战争”。在乌克兰，活动人士和志愿者描述了一种“社会的技术军事化”（technological militarization of societies），使他们能够通过创新的力量抵消俄罗斯的数量优势。这些讨论突显了一个共同现象的不同维度，尽管它们尚未真正相互交融，尽管一些研究正开始弥合差距。要点并非宣称无人机是一种神奇武器，而是对其所引发的深刻变革进行综合阐述。由此观之，“无人化”似乎是数字化、网络化和自动化的催化剂——这三种长期存在的趋势，如今正渗透并重塑社会、经济，以及必然的，战争艺术。因此，属于中心集权动员机制和工业时代“宏技术”（macrotechnology）的典型产物——“发动机战争”——正被一场服务器和处理器战争所取代，这是全球化经济的特征，但却是个体化的，由信息的提取和应用所推动。
伊朗的弹道导弹计划
鉴于对伊朗核计划及其支持恐怖组织的担忧，伊朗的弹道导弹计划长期以来一直是国会关注和立法行动的主题。关于伊朗核计划的国际协议和外交讨论有时会涉及伊朗的弹道导弹能力。国会已授权对伊朗的导弹计划实施广泛制裁，并要求行政部门报告伊朗的导弹能力。在始于2025年6月13日的空袭中，以色列的目标是伊朗的核计划和弹道导弹计划。伊朗随后向以色列发动了导弹袭击。
伊朗的导弹能力
美国家情报总监办公室在2025年3月提交的一份国会授权的年度威胁评估中表示：“伊朗继续增强其国产导弹和[无人机]系统的杀伤力与精确度，并且它拥有该地区最大的此类系统库存。”美国国家航空航天情报中心（NASIC）在2020年的一份报告中，列出了至少14种伊朗弹道导弹型号。伊朗的弹道导弹库存包括固体燃料导弹（在维护和使用寿命方面具有优势）和液体燃料导弹（比固体推进剂具有更大的推力和功率）。
短程弹道导弹
伊朗的短程弹道导弹（SRBM）——射程在1,000公里（621英里）以下的导弹——库存中包括了液体燃料和固体燃料导弹。根据美国国防情报局（DIA）2019年的一份报告，伊朗的液体燃料导弹“流星”-1、“流星”-2和“奇亚姆”-1短程弹道导弹基于苏联时代“飞毛腿”导弹的技术。在2000年代初，伊朗开始测试“法塔赫”系列短程弹道导弹的第一代产品——“法塔赫”-110。根据2020年的NASIC报告，“法塔赫”-110及其后继型号“法塔赫”-313是固体燃料短程弹道导弹，估计射程分别可达300公里和500公里。伊朗展示了“法塔赫”系列导弹的几种变体，可能具有改进的射程和制导系统，其中包括“佐勒法加尔”和“波斯湾”（一种反舰弹道导弹）。
中程弹道导弹
伊朗的中程弹道导弹（MRBM）——射程在1,000至3,000公里（621至1,864英里）之间——包括了液体燃料的“流星”-3系列中程弹道导弹，估计射程可达2,000公里（1,243英里）。根据NASIC 2017年的一份报告，该导弹基于朝鲜的“火星”-7（也称为“芦洞”-1）中程弹道导弹；伊朗官员对此说法有争议。伊朗可能于1998年开始测试“流星”-3，此后据报道测试了“流星”-3的多个变体。根据国际原子能机构（IAEA）2011年的一份报告，伊朗在2000年代初还可能对“流星”-3进行了改装以携带核弹头。据报道，“流星”-3变体至少是另外两种中程弹道导弹——“加德尔”-1和“伊玛德”-1的基础，伊朗声称这两种导弹提高了精度和射程，同时它也是一种太空运载火箭（SLV）“使者”号的基础。
图1. 基于开源信息估算的选定伊朗导弹最大射程（单位：公里）
导弹研发
专家们对伊朗是否有能力生产更远程导弹，例如中远程弹道导弹（IRBM）和洲际弹道导弹（ICBM），以及改造此类导弹以携带核武器的程度存在争论。一些美国情报官员和包括法国、德国和英国在内的美国盟友对伊朗太空运载火箭计划可能的双重用途表示担忧，指出此类计划可能被用于发展弹道导弹。2025年，国防情报局评估认为，如果德黑兰决定发展该能力，伊朗可以利用其太空运载火箭“在2035年前开发出具有军事价值的洲际弹道导弹”。
伊朗“法塔赫”弹道导弹计划
伊朗“法塔赫”导弹系列及其延伸家族是一类先进的固体燃料、公路机动、具备精确打击能力的弹道导弹。
图：2006年，伊朗短程导弹（“法塔赫”）在库姆市外中部沙漠的军事演习中进行试射。摄影：侯赛因·法特米 / Middle East Images / 法新社通过盖蒂图片社。
作为其弹道导弹计划的一部分，伊朗自1980年代两伊战争以来一直在积极发展固体燃料和液体燃料火箭，其中伊斯兰革命卫队（IRGC）在其发展中发挥了重要作用，视这些导弹为抵御潜在对手的关键威慑力量。
据报道，为报复以色列于2024年4月1日对伊朗驻大马士革领事馆的空袭，伊朗于4月13日向以色列发射了超过330枚防区外武器，其中包括约120枚弹道导弹。
2025年6月，伊朗向以色列发射了数十枚弹道导弹，以回应对其能源和军事基础设施的打击，特拉维夫和海法等城市均有爆炸记录。
据《耶路撒冷邮报》报道，以色列国防军表示，通常有十分之一至二十分之一的伊朗弹道导弹能避开以色列先进的防空网络。
伊朗在发展各类弹道导弹方面取得了稳步进展，包括射程达300公里的近程弹道导弹（CRBM）、射程在300公里至1000公里的短程弹道导弹（SRBM）、射程在1,000公里至3,000公里的中程弹道导弹（MRBM），并且正在研发射程可达3,000公里至5,500公里的中远程弹道导弹（IRBM）。
与“法塔赫”系列导弹以及用于太空运载火箭（SLV）的固体推进剂发动机等固体燃料火箭技术的较新进展相比，像“流星”系列这样的液体燃料火箭加入伊朗导弹计划的时间要早得多。伊朗在固体燃料和液体燃料火箭方面取得的进展都表明，其致力于在不同推进系统上提升导弹能力。
固体燃料火箭采用固体推进剂，即一种预先混合和浇铸的燃料和氧化剂组合。这种固态形式便于储存和操作，因为推进剂保持稳定且可立即使用。由于推进剂本身具有可燃性，固体燃料火箭的点火过程直接、迅速。一旦点燃，这些火箭的节流控制能力有限或没有，限制了在飞行中调整推力的灵活性。尽管存在这一缺点，固体燃料火箭仍因其可靠性和较长的保质期而受到青睐。
液体燃料火箭的特点则是使用分开储存的液态组分——燃料和氧化剂储存在不同的储箱中。这些组分在燃烧室中混合并燃烧，这是一个涉及复杂管路和发动机部件的精密过程。这种复杂性使其能够更好地进行节流控制，并在飞行中精确调整推力和弹道。与固体燃料火箭相比，液体燃料火箭通常能提供更高的性能指标，例如比冲和效率。
“法塔赫”导弹家族
伊朗在其武库中拥有数种射程在300至1,000公里间的短程弹道导弹（SRBM）。这些短程弹道导弹中包括具有高精度和公路机动能力的“法塔赫”系列及其衍生家族的固体燃料导弹。
图：“法塔赫”-110是一种伊朗制造的弹道导弹，单级固体推进剂，地对地导弹。
- “法塔赫”-110系列：作为该家族的基础型号，“法塔赫”-110是一款于1990年代开发的固体推进剂短程弹道导弹，射程在250公里至300公里之间。随着时间推移，德黑兰通过多个变体（A/B/C/D）对“法塔赫”-110进行了改进，不同程度地提升了射程和精度。该导弹曾在实战中使用，显著的是在2018年和2022年针对伊拉克北部库尔德目标的打击，后者是为了报复据称是以色列的袭击。
图：“法塔赫”-313（Fateh-313）亮相仪式。
-
“法塔赫”-313（Fateh-313）：于2015年亮相的“法塔赫”-313是“法塔赫”-110的改进型，据报道，通过使用复合固体燃料和可能更轻的弹体，将其射程扩展至约500公里。该导弹在2020年1月针对驻扎伊拉克美军的袭击中发挥了作用。
-
“佐勒法加尔”（Zolfaghar）：于2016年推出的“佐勒法加尔”进一步突破限制，射程达700公里，其分离式弹头配备了用于提高精度的小型尾翼。“佐勒法加尔”曾在叙利亚针对“伊斯兰国”（ISIS）部队的战斗中接受过实战检验，并在伊朗军事演习中占据显著位置。
-
“法塔赫·莫宾”（Fateh Mobin）：于2018年公布的“法塔赫·莫宾”设计为多功能型，其分离式弹头装有光电导引头。据称该导弹具有抗电子干扰能力。虽然光电系统的局限性限制了这一能力，但仍被宣称是一款全天候短程弹道导弹。据报道该系统仅有一次试射，其射程和效能尚多未知。
-
“迪兹富勒”（Dezful）：于2019年试射的“迪兹富勒”以其1000公里的延伸射程而引人注目，使其处于短程弹道导弹与中程弹道导弹（MRBM）的临界点。其在“伟大先知15”军演中展示了增强的能力。虽然有效载荷重量未知，但“迪兹富勒”的弹头比“佐勒菲卡尔”（Zulfiqar）更长。
-
“雷声”-500（Ra’ad-500）：于2020年试射的“雷声”-500射程比“迪兹富勒”和“佐勒菲卡尔”（Zulfiqar）短，仅为500公里。这款公路机动导弹采用更轻的弹体和新的复合材料发动机，重量比原始的“法塔赫”导弹减轻约1000公斤。
-
“祖海尔”（Zouhair）：于2022年首次展示，关于“祖海尔”知之甚少，它似乎是“雷声”-500的重命名和可能重新设计的型号，其改动意在强调使用复合材料以实现更远的射程。
-
“沙希德·哈吉·卡西姆”（Shahid Haj Qassem）：这款于2020年推出的导弹是“法塔赫”家族中首个中程弹道导弹，射程1400公里。据报道它具有分离式弹头，可在击中目标前进行机动。
-
“法特”（Fath）与“法特-360”（Fath-360）：2020年首次亮相的“法特”是一种常规弹道导弹（CRBM），其尺寸小到可与火箭炮炮弹相比，体积、直径和重量仅为“法塔赫”-110的一半。它也被称为BM-120，指其最大射程120公里。“法特-360”于2023年9月公开并测试，据认为射程120公里，且似乎是三年前推出的同一款“法特”导弹。
-
BM-250：BM-250在射程和尺寸上介于“法特”常规弹道导弹（CRBM）与“法塔赫”-110之间。
-
“海巴尔破坏者”（Kheibar Shekan）：于2022年试射中亮相的“海巴尔破坏者”是一款射程达1,450公里的中程弹道导弹。民主国防基金会（Foundation for Defence of Democracies）的一份报告援引了伊朗方面的声明，声称该导弹的射程足以将以色列作为目标。报告接着提到伊斯兰革命卫队（IRGC）的高级军官阿里·哈吉扎德准将（Brigadier General Ali Hajizadehm），以及据报道的一项声称，即该导弹的毁伤能力显著高于其前代型号。
在强化学习（RL）中，智能体不断与环境交互，并利用反馈来改进其行为。为了引导策略优化，引入奖励模型作为期望目标的代理，使得当智能体最大化累积奖励时，也能切实满足任务设计者的意图。近年来，学术界和工业界的研究者都聚焦于构建既能与真实目标高度对齐，又能促进策略优化的奖励模型。 本文综述对深度强化学习领域中的奖励建模技术进行了系统回顾。我们首先介绍奖励建模的背景与基础知识；随后，以“来源”“机制”和“学习范式”为维度，对最新的奖励建模方法进行分类梳理；在此基础上，探讨这些技术的多种应用场景，并回顾评估奖励模型的常用方法。最后，我们总结了值得关注的未来研究方向。 总体而言，本综述涵盖了既有方法与新兴方法，填补了当前文献中缺乏系统性奖励模型综述的空白。
1 引言
近年来，**深度强化学习（Deep Reinforcement Learning, DRL）**这一结合了强化学习（RL）与深度学习（DL）的机器学习范式，在多个领域的应用中展现出巨大潜力。例如，AlphaGo [Silver et al., 2016] 展示了强化学习在博弈类场景中进行复杂决策的能力；InstructGPT [Ouyang et al., 2022] 强调了强化学习在对齐语言模型与人类意图中的不可替代作用；通过大规模强化学习训练的智能体，如 OpenAI-o1 和 DeepSeek-R1 [Guo et al., 2025]，展现出了与人类相当甚至超越人类的推理智能。与监督学习（SL）中要求智能体模仿和复现数据集中的行为不同，强化学习的核心优势在于使智能体能够基于自身行为的结果进行探索、适应与优化，从而实现前所未有的自主性和能力。 奖励机制是强化学习的核心组成部分，实质上定义了任务中的目标，并引导智能体优化其行为以达成该目标 [Sutton et al., 1998]。正如多巴胺在生物系统中激励和强化适应性行为一样，强化学习中的奖励鼓励智能体探索环境，引导其朝向期望的行为发展 [Glimcher, 2011]。然而，尽管在研究环境中奖励函数通常是预先定义好的 [Towers et al., 2024]，但在许多真实世界的应用中，奖励往往不存在或难以明确指定。因此，当代强化学习研究的一个重要方向，是如何从多种类型的反馈中提取有效的奖励信号，以便后续使用标准的强化学习算法对智能体策略进行优化。 尽管奖励建模在强化学习中扮演着至关重要的角色，现有的综述文献 [Arora and Doshi, 2021; Kaufmann et al., 2023] 通常聚焦于特定子领域，如逆强化学习（IRL）与基于人类反馈的强化学习（RLHF），而较少将奖励建模作为一个独立课题进行系统梳理。为填补这一空白，本文对奖励模型进行了系统性回顾，涵盖其理论基础、关键方法和在多种强化学习场景中的应用。我们提出了一个新的分类框架，用以回答以下三个基本问题： 1. 来源（The source）：奖励来自哪里？ 1. 机制（The mechanism）：是什么驱动智能体的学习？ 1. 学习范式（The learning paradigm）：如何从不同类型的反馈中学习奖励模型？
此外，我们特别关注了基于基础模型（如大语言模型 LLMs 与视觉-语言模型 VLMs）的奖励建模的最新进展，该方向在已有综述中关注较少。本文所构建的奖励建模框架如图 1 所示。 具体而言，本文的结构安排如下： 1. 奖励建模背景（第2节）：介绍强化学习与奖励模型的基础知识； 1. 奖励模型的分类（第3至第5节）：提出奖励建模的分类框架，分别从来源（第3节）、学习驱动机制（第4节）以及学习范式（第5节）三个维度进行划分。同时，我们在表1中列出了近期相关文献，并依照该框架进行归类； 1. 应用与评估方法（第6与第7节）：探讨奖励模型在实际场景中的应用，以及常用的评估方法； 1. 未来方向与讨论（第8节）：总结全文，并展望该领域的潜在研究方向。
确保私营机构、公共机构及国家机构安全的首要任务，是具备可靠应对恶意低空、慢速、小型（LSS）无人机系统（UAS）的能力。无论和平或战争时期，全球诸多案例——诸如机场空域屡遭入侵、针对民众的未遂袭击，以及当前乌克兰冲突事件——均印证此类无人机构成的关键威胁。本综述整合现役反无人机系统（C-UAS），涵盖传感器与（低附带损伤）效应器组件，并在可行时对比实战经验与技术预期成效。
本研究范畴内，典型C-UAS系统架构包含三个子系统：（i）传感器系统、（ii）效应器系统、（iii）C2指挥控制系统。由单组或多组传感器构成的传感系统，负责采集环境信息（含背景与目标数据）；由单组或多组拦截单元构成的效应系统，承担瘫痪、摧毁或接管敌识无人机的任务；C2系统贯通上述两子系统：基于传感器情报决策最优效应方案以达成效能最大化。认知C-UAS系统所用传感器/效应器特性，以及不同外部参数对系统效能的影响，是构建最适系统的关键要素。即便突发意外状况，C2交互界面也应确保传感器/效应器协同最大化“杀伤链”成功率。本节旨在初步展示反无人机系统中各类传感器与效应器技术。
伊朗官方宣称其弹道导弹射程“限制在2000公里”。但声称其“霍拉姆沙赫尔”导弹可“在携带1500—1800公斤有效载荷时实现该射程”。这暗示若减轻载荷，其射程可能突破3000公里门槛达到中程弹道导弹标准。此外，伊朗于2020年4月发射“加赛德”卫星运载火箭。基于公开情报及影像资料分析，我们已推导出两款导弹参数并用于弹道模拟。结果显示“霍拉姆沙赫尔”的理论性能与其宣称数据相符，可能具备中程导弹能力。然而该理论模型与伊朗公开展示的实弹存在差异。“加赛德”的实测性能表明，若改装为弹道导弹，其射程“可能突破3000公里”。
依据官员公开声明，伊朗弹道导弹射程“被限定在2000公里”。例如2017年5月，时任伊斯兰革命卫队总司令穆罕默德·阿里·贾法里少将（该部队主管伊朗弹道导弹研发部署）宣称：“我们具备提升射程的能力，但当前2000公里已足够——美军基地都在此范围内，任何入侵都会招致反击”。该射程不仅能覆盖中东美军基地，还可打击伊朗政府明确定义的敌对目标沙特与以色列。但欧洲大部分地区尚处射程之外。不过仅仅一个月后，时任伊斯兰革命卫队副总指挥侯赛因·萨拉米准将（后晋升少将并现任总指挥）表态：“若将导弹射程维持在2000公里，绝非技术不足所致。(...)我们遵循战略准则(...)迄今欧洲未构成威胁，故未提升射程。但若欧洲转向威胁态势，我们必将延长导弹射程”。
目前伊朗现役弹道导弹未见超越2000公里射程的型号。“流星-3”导弹远程改型宣称射程1950公里（载荷750-800公斤），“塞吉尔”固体燃料导弹据报射程2000公里。但伊朗已测试多款具备潜力突破此限制的导弹。
2017年9月德黑兰阅兵式首度展示“霍拉姆沙赫尔”导弹，并公布试射影像。据报道该弹2017年1月首次试飞，飞行600英里后失败。当时媒体推测其为朝鲜“火星-10”（亦称BM-25）的伊朗版。“火星-10”疑似采用4D10火箭发动机（源自苏联R-27“兹布”/SSN-6“塞尔布”）[7]。其UDMH（偏二甲肼）与N2O4（四氧化二氮）燃料组合能量高于伊朗“流星-3”或“力量-F/H”等主流液体燃料导弹使用的煤油/IRFNA（抑制红色发烟硝酸）。但该推进剂氧化剂的液态温度范围受限，对号称公路机动的导弹构成挑战。2019年9月德黑兰阅兵展示配备小型再入飞行器的改型；2020年8月又发布新试射影像（见图1截图）。伊朗宣称“霍拉姆沙赫尔”起飞质量19,500公斤，能以“1500至1800公斤载荷实现2000公里射程”。理论上减轻载荷可使射程突破3000公里，跨入中程导弹门槛。
伊朗卫星运载火箭（SLV）发展为远程弹道导弹提供了替代路径。尽管卫星发射工具与弹道导弹设计目标不同，核心技术却高度相通。2009年伊朗首次用国产“使者号”SLV将微卫星送入轨道，2010年又推出更大型的“凤凰号”。
2020年4月22日，伊朗使用新型“加赛德”SLV成功发射“努尔”卫星。美军太空司令部确认卫星入轨，并探测到二级箭体[13]。“加赛德”较“使者号”和“凤凰号”更轻便，其运输起竖车与“流星-3”系列几乎相同。拖车因容纳更长箭体而移除支架。“使者号”及“加赛德”一级（前者全箭）采用可储液体推进剂。与“霍拉姆沙赫尔”类似，“使者号”和“凤凰号”上面级使用限制储运条件的N2O4氧化剂，而“加赛德”二级疑似采用固体发动机。
虽然“使者号”与“凤凰号”由（名义上）民用航天机构研发，但源自“流星-3”的“加赛德”由伊斯兰革命卫队主导，直接关联伊朗军事导弹计划。由此引发关键疑问：若将“加赛德”还原为弹道导弹，其性能如何？据第三方分析，该弹“能以750-1000公斤载荷达到2200公里射程”。
通过数值仿真评估导弹性能。依据公开影像分析的发动机参数及尺寸数据输入弹道模型，两款导弹采用不同研究方法：针对“霍拉姆沙赫尔”，重点验证4D10发动机能否支撑其宣称性能，并探究其携带有效载荷突破3000公里的可行性；针对“加赛德”，基于公开轨道参数及伊朗视频确定一级发动机特性，通过参数调校使仿真结果吻合实际卫星轨道，最终推算其亚轨道弹道模式下突破3000公里射程的潜力。
微信扫码咨询专知VIP会员