联合全域作战(JADO)是一种超越传统方法的现代军事战略,通过整合各个领域来创造作战协同效应。它强调以系统为基础、以目标为中心的方法,利用复杂性、速度、精确度和数量,适应不断变化的威胁。尽管存在技术和组织方面的挑战,但JADO对于在未来冲突中保持作战优势至关重要。
在快速演变的现代战争中,传统的军事演习概念越来越不足以应对未来冲突的复杂性。联合全域作战(JADO)是为应对这些复杂性而提出的一种机动概念。 它不同于多域作战和联合作战等旧有框架,后者未能充分整合所有领域的潜力。相反,JADO 的重点是实现 “效果融合”,通过同步调动多个领域的动能和非动能能力来创造作战协同效应,从而压倒对手。尽管存在诸多技术和组织方面的障碍,但通过采用基于系统的整体方法,利用以目标为中心的方法,并结合作战的复杂性、速度、精确性和数量来产生超大效应,JADO 已准备好成为未来冲突中的决定性因素。这些特点使 JADO 成为一种占主导地位的机动概念,通过利用系统间的相互依存关系产生非对称效果。首先,JADO 通过整体系统方法创造作战优势,使指挥官能够识别和利用所有领域的关键漏洞。其次,通过以目标为中心的方法,JADO 不会将机动限制在传统的以领域为中心的方案中。 第三,JADO 希望利用复杂性、速度、精确性和数量来实现目标,这是以往任何军事概念都无法做到的。在对手能力越来越强、作战资源越来越有限的环境下,JADO 可能是唯一能在未来冲突中创造作战优势的机动概念。
JADO通过采用跨越竞争连续体的系统方法,包括友军和敌军,为实现战略目标创造独特优势。这种基于系统的方法至关重要,因为它能识别各领域之间的相互依存关系,让军事规划人员更深入地了解某一领域的行动如何对其他领域产生连带影响。 例如,空中行动可能会因网络领域的行动(如通信系统瘫痪)而增强或中断。JADO概念分析了系统的结构,以及对这些系统的调整会如何改变产出。这种分析必须针对整个竞争过程中的友方和敌方系统,以有效识别关键漏洞。系统方法有助于确定高效的目标,在这些目标中,准确的交战会产生巨大的效果。由于系统不是一成不变的,系统模型也有局限性,因此这一过程要求进行持续评估,以帮助识别和减少系统模型中的缺陷。这种方法在微妙的潜在场景中至关重要,比如在不引发全面战争或人道主义危机的情况下,使朝鲜核能力失效。总之,基于系统的 JADO 方法有助于确定最佳目标,而这可能是未来冲突的决定性因素。
JADO 的核心优势在于其以目标为中心、与领域无关的性质,避免了以往导致联合部队使用效率低下的孤岛式机动方法。与强调特定领域作战(如空中或海上优势)的传统军事战略不同,JADO 侧重于利用现有资源中最高效、最有效的方法实现目标,而不论领域。 这种方法需要进行 “整体政府 ”分析,以确定实现目标的最佳手段和方法,并要求各机构、部门之间进行高度协作和信息共享。 这种以目标为中心的方法能确定实现目标的更有效手段,并决定哪些部队应得到支持,哪些部队应提供支持。这往往能发现出人意料的攻击途径,通过对手未曾预料到的方式方法,利用对手可能未曾意识到的弱点。 最终,JADO 提高了效率和效力,这在未来资源严重受限的冲突中势在必行。
JADO 通过利用行动的复杂性、速度、精确度和数量创造优势,使部队发挥最大效能。复杂性能够在所有领域采用全方位的选择,让对手同时面临多重困境。JADO 迫使对手防御多种复杂威胁,从而强调对手的决策能力和应变能力。速度对于在对手适应之前利用已知漏洞至关重要。速度能提高效率,扩大部队可打击目标的范围。精确使作战行动能够以最少的资源实现目标。JADO不依赖于压倒性的力量,而是能够精确瞄准关键的相互依存关系,这些关系一旦被破坏,就会对敌方行动造成不成比例的影响。 JADO 概念的主要思想家杰弗里-赖利博士经常将 “复杂性、速度和精确性 ”作为 JADO 的主要原则;然而,为了防止资源的线性利用,数量也是必要的。 量 "侧重于最大限度地发挥有限资源的运作能力,以实现目标。为了达到最佳效果,JADO必须同时在多条战线上使用资源。与线性演习不同,JADO 是一种矩阵式演习概念,其中各领域同时针对多个目标进行同步演习。当复杂性、速度、精确性和规模同时得到优化时,JADO 就能创造出最大的优势。 舍此取彼会降低整体效能。在未来的冲突中,对手可能会在技术能力和规模上同时提出挑战,因此这四个要素对于建立作战优势至关重要。
作战环境日益复杂,凸显了 JADO 在未来冲突中的重要性。对手通常通过多领域创新迅速增强其能力和实力。 在这种环境下,传统的单领域动能方法将不再适用。跨越多个领域的目标太多,其中许多目标防御严密或分散。JADO 以系统为基础、与领域无关的方法对于驾驭这种复杂性和创造机会以不成比例地削弱敌对势力至关重要。
从防御的角度来看,这一概念也至关重要,因为友军同样存在可利用的相互依存关系。美国及其单元盟国面临着来自多领域威胁的日益增长的风险,包括网络攻击、天基武器和远程精确打击。曾经基本得到保障的国土防御,正日益面临来自多领域敌对影响的风险。从防御态势出发采用 JADO 演习概念,可能会在对手发动攻击之前使其丧失能力,或造成困境,使有效瞄准变得更加复杂。 随着美国与其对手之间能力差距的缩小,JADO 将在获取和保持战略和作战优势方面发挥关键作用。
尽管 JADO 在概念上具有明显优势,但在执行过程中却面临着巨大挑战,特别是与技术和组织结构有关的挑战。技术制约是联合部队利用 JADO 能力的主要限制因素。许多系统之间不能互操作,尤其是跨域互操作,而且这些系统的分类级别各不相同,进一步限制了信息流动。许多遗留系统无法抵御网络或电磁频谱攻击,因此很容易受到破坏。此外,要充分利用 JADO 概念所需的大量数据,就必须采用人工智能和全域指挥与控制架构等新技术工具,而这些工具目前仍在开发之中。由于预算限制和物理学方面的现实情况,其中一些技术限制是无法克服的。并不是所有武器系统都有足够的尺寸、重量和功率(SWaP)来集成子系统,使其能与其他军种或领域互操作。即使系统具有足够的尺寸、重量和功率,也可能因为更新成本效益不高而无法进行修改。也许有新颖的解决方案可以克服其中的一些挑战,例如增加机队配置的种类,但这些解决方案会带来额外的负担,如更大的维持尾翼或更多的培训。
组织方面的限制也阻碍了 JADO 的全面实施,因为国防部门是在单一领域的基础上发展和组织起来的。联合部队在很大程度上仍是按照以领域为中心的思路组织的,这影响了战术制定、指挥与控制以及资源优先级的确定。过度分类进一步限制了各军种之间和各机构之间的信息共享,而这正是 JADO 取得成功的关键要求。 地域作战司令部也造成了组织上的障碍,每个司令部都面临着独特的挑战,这对联合部队创建和部署一支有凝聚力的部队的能力造成了压力。 如果不解决这些制约因素,JADO 的实施可能无法达到在未来冲突场景中竞争所需的规模。 联合部队必须在技术和组织两方面不断发展,以确保能够有效实施 JADO。
联合全域作战代表着军事战略的范式转变,强调以系统为基础、以目标为中心的跨域作战方法。尽管实施起来具有挑战性,但与传统的以领域为中心的机动概念相比,JADO 提供了更高效、更有效的部队应用。这些优势要求对技术和组织结构进行更新,以便在持续的竞争中提供最具影响力的军事选择。 在对手能力越来越强、目标越来越难以实现的未来,JADO 可能是唯一能让美军获得并保持作战优势的机动概念。
未来大城市中的无人地面车辆
在全球大规模城市迁移以及环境和地缘政治危机导致大都市空间日益脆弱的背景下,未来在城市发生冲突的可能性正在增加。认识到这一点,陆军正在对其能力组合进行现代化改造,使其能够在城市环境中作战并取得胜利,而无人地面战车 (UGV) 预计将在未来行动中发挥关键作用。
本文探讨未来城市环境中与无人地面战车有关的理论、战术、训练和程序的发展以及无人技术的发展。对当今如何部署 UGV(以以色列和叙利亚为案例)以及未来城市将给陆军指挥官和战术单元带来的独特作战挑战提供了广度和深度的见解。还加入了一篇简短的思考文章,介绍美国和英国陆军在推进自己的 UGV 计划时所采用的测试和评估模式。
北约研究任务组(RTG)对一种新兴技术进行了研究,该技术为更有效和高效地利用电磁频谱(EMS)铺平了道路。电磁频谱为用户提供了以无线方式获取各种服务的途径。军事领域的典型服务包括通信、雷达、电磁战和导航。这些服务中的每一项都越来越重要,尤其是在冲突局势中,如最近俄罗斯乌克兰战争。
正在考虑的新兴技术被称为带内全双工(IBFD)或简单的全双工(FD)。IBFD 允许单个无线电收发器通过同时发射和接收操作,在同一频率上同时执行两个 EMS 功能。因此,IBFD 也被广泛称为同频同步收发 (SF-STAR),或简称为同步收发 (STAR)。
在任何军事行动中,取得 EMS 优势都是最优先的目标之一。这里的优势是指在任何时间、任何地点都能确保自己在 EMS 中的行动利益,就像在友好和良性的环境中一样,同时最大限度地削弱敌方的能力。然而,众所周知,现代电磁作战环境是拥挤的、有争议的和受限制的。因此,需要精心制定的 EMS 战略来解决由此带来的挑战。实现 EMS 优势的大多数战略都依赖于有效和高效地利用频谱。显然,新兴的 IBFD 技术可以在这方面发挥重要作用。
IBFD 系统面临的主要科学挑战是,发射信号在接收路径上不可避免地会产生自干扰,因为具有线性和非线性成分的失真副本会叠加到实际感兴趣的信号上。通常情况下,自干扰的强度要比微弱的相关信号大几个数量级。因此,关键的科学目标是找到尽可能减小自干扰的方法,同时保持微弱干扰信号的质量,使其在接收路径中能够被检测和处理。
文献中已经提出了针对商业/民用 EMS 服务的自干扰消除问题的强大解决方案。这些解决方案大多假设采用单天线配置,并基于两步消除过程,其中很大一部分自干扰已通过消除电路在模拟域中消除,而大部分残余部分则通过数字信号处理进行补偿。利用多天线也可以在传播域抑制自干扰。
然而,在军事应用中,EMS 服务的系统参数通常是不同的。例如,这些服务具有更高的发射功率、更低的载波频率、更窄的频谱带宽和更小的吞吐量等。这使得为典型军事应用的自干扰问题寻找强有力的解决方案变得更加困难和具有挑战性。
图 3-1:以全双工概念为不同侧重点的军事驱动场景概览。
为了更好地了解具体的军事要求,RTG 首先确定并评估了全双工收发器在军事领域的几种潜在应用。在介绍了全双工收发器的总体情况后,重点转向了选定的方面。这些方面可分为三类:通信中的全双工收发器、电子战中的全双工收发器以及两者的结合。第一类的例子包括双向通信、中继、隐藏节点、认知无线电、共站问题和卫星通信。传感/探测和干扰是全双工收发器在电子战中的应用实例。
我们详细讨论了其中的每一种情况,并确定了典型的系统参数配置。所有这些讨论都得出了一个共同结论,即在军事领域应对自干扰问题比在商业/民用领域更具挑战性。例如,一方面,较高的发射功率(尤其是在干扰情况下)会导致明显更强的自干扰。因此,需要对更高水平的自干扰进行补偿。另一方面,V/UHF 频段的发射载波频率较低,使得模拟消除电路的成熟概念无法直接应用。较低的发射载波频率伴随着较大的波长,无法满足可行的尺寸限制。
从全双工收发器在军事领域的各种潜在应用领域中,RTG 挑选出了两个关键的应用场景。针对这两种情况,研究并演示了功能强大的解决方案。
两个演示器中的一个旨在展示带内全双工操作对传统双向战术通信的益处。为此,演示器尽可能广泛地使用了现成的商用(COTS)组件。IST-175 RTG 还开发了其他 IBFD 专用组件,如模拟消除电路和数字消除软件。
演示展示了通过 STANAG 5630 第 1 版北约窄带波形 (NBWF) 的双向一键通 (PTT) MELPe 编码语音通信,使用的是 Ettus Research 公司的 USRPTM B205-mini-i 作为 COTS 软件定义无线电 (SDR) 收发器。为了演示的目的,对 NBWF 稍作修改,使两名无线电操作员可以同时按下 PTT 按钮访问语音插槽。所有其他信号处理和协议实体(如时间同步、网络隶属等)均完全符合 STANAG 5630 Ed.1 规范。模拟消除电路专为 300 MHz 的载波频率而设计。
在整个战术通信演示器的开发过程中,出现了一个额外的干扰信号。由于使用了低保真度的 COTS 组件,SDR 收发器的发射和接收路径之间的隔离度不够高,因此可以观察到相当大的内部串扰。IST-175 RTG 还表明,可以采用类似的方法来抑制自干扰和串扰这两种干扰。
只有同时启用两个消除步骤(模拟消除电路和数字消除软件),才能充分降低自干扰(超过 70 dB)。这样,来自通信伙伴的微弱干扰信号就可以被检测和解码了。语音质量可达到 2.4 kbps MELPe 编码所允许的最高水平。如果禁用这两个消除步骤,自干扰仍然是主要部分,而实际的干扰信号则会丢失。
2023 年 10 月在荷兰阿姆斯特丹举行的第 52 次 IST 小组业务会议上对研究结果进行了现场演示。
第二个演示器的系统方案包括一个带内全双工收发器和一个截获的敌方发射器。通过同时发射和接收操作,全双工收发器发射高功率宽带信号以干扰敌方的通信,同时检测和接收敌方的发射信号,即目标信号。这样就能获得有关敌方通信和干扰效果的信息等。
在这种情况下,关键的技术和科学挑战尤其来自于更高的发射功率。为此,实现全双工 EW 应用的工作目标是支持至少 100 W 的发射功率和 100 kHz(相当窄)瞬时带宽的接收,该带宽可在 225 - 400 MHz 宽频率范围内任意选择。
演示器显示了在 300 MHz 频率范围内连续发射的高功率、5 MHz 宽 AWGN 干扰信号,同时在这 5 MHz 范围内接收较弱的窄带干扰信号。模拟射频消除器可根据干扰信号自动调整频率。如果没有 IST-175 RTG 开发的全双工技术,就不可能探测到微弱的干扰信号。
用于 EW 情景的演示器通过结合新型高隔离度天线结构和模拟射频消除器板实现了上述目标,并对其实施了自适应控制。高隔离度天线由两个传统的 Yagi-Uda 天线组成,这两个天线之间有一个新颖的去耦结构。与参考系统相比,去耦结构将天线隔离度从 40 dB 提高到 75 dB。模拟射频消除器由延迟组和矢量调制器组成,能够额外消除 50 dB 的自干扰。估计的性能表明,在所考虑的预警情况下,有可能在数十公里的距离上拦截信号,同时在 5 至 15 公里的距离上干扰对手的收发器。
在 2023 年 11 月于芬兰坦佩雷举行的 IST-175 RTG 会议上,对研究结果进行了现场演示。
上述所有结果可得出以下结论:
目前,两个实验室演示器都仅限于支持少量收发器(通常为 2 个节点)和静态环境(即无移动性)的军事场景。此外,战术通信演示器仅侧重于基于电缆的射频传输。从这些局限性和结论中可以得出以下建议:
多国能力发展运动(MCDC)是由美国联合参谋部 J-7 领导的一项举措,旨在开发和评估非物资(非武器)部队发展解决方案。开发项目通过多国协作加以选择和执行,以满足与多国联合行动和联盟行动相关的当前和未来作战需求。它通过确定和评估多国联合行动和联盟行动能力差距的潜在解决方案,促进多国互操作性。
本报告是多国多域指挥与控制互操作性项目小组的成果。该小组汇编、分析了对提高多国多域指挥与控制互操作性至关重要的指挥与控制(C2)现代化行动,并对其进行了优先排序。作为这项工作的一部分,项目组确定了两个现代化主题:数字化转型和为参与特定事件的任务网络联盟做好准备。这些主题是提高信息共享能力以及优化未来联盟行动互操作性的基础。
总体而言,该项目是目前正在进行的联合参谋部 J-7 多国能力发展运动的一部分,旨在加快各国和合作伙伴之间能力互操作性的发展和实施。
本报告的目标受众既包括各国国防部的战略决策层面,也包括重点实施 C2 现代化的国家作战层面。报告为致力于实现 C2 能力现代化和提高多国多域环境中互操作能力的国家提供了有益的启示。报告将有关 C2 现代化的大量信息归纳为简明扼要、重点突出的可行建议。各国可参考这些建议,实现本国 C2 能力现代化,提高在多国多域环境中的互操作能力。
图 1 - 多国多领域指挥与控制互操作性
本报告的具体成果是列出指挥与控制(C2)现代化行动的优先次序,这些行动将直接改善多国多领域 C2 的互操作性。本报告既面向国防部的战略决策层面,也面向负责 C2 现代化的国家行动层面。
全球安全环境面临的挑战包括:数据和信息量急剧增加,以及相关的处理/管理问题;对手在整个竞争过程中的恶意活动增加;现有的 C2 流程和程序引入了破坏性技术。为了应对这些挑战,各国正在对其军事能力进行现代化改造,并提高多国多领域 C2 的互操作性,以此作为未来作战成功的关键因素。
随着各国军事能力的现代化,一个重大的挑战是了解哪些 C2 能力的改进将为在未来联军行动中实现 C2 互操作性带来最大益处。报告认为,数字化转型和随时准备参与针对特定事件的任务网络联盟是提高 C2 互操作性的两个基本主题。报告还提供了各国在努力提高国家指挥通信能力时应优先采取的发展行动。行动分为四类:技术(15 项行动)、结构(6 项行动)、人员(5 项行动)和流程(8 项行动)。
多国多领域 C2 互操作性是指各国在多个领域行使权力和协调行动时进行协商、协调和合作的综合能力。需要具备可互操作的多国 C2 能力,以改善多国数据和信息共享,扩大共享态势感知能力,并使联盟规划进程与其他权力工具协调一致。
除基本主题外,还提出了开发和实施指挥、控制和通信能力的五项原则,以指导各国的工作并加强多国一致性。它们是:优先提高人的绩效;实施以数据为中心的信息共享;确保 C2 的复原力;为组织的适应性做好准备;以及监测并纳入技术进步。
C2 现代化行动为调整 C2 能力奠定了基础,旨在促进实现以下预期行动成果:确保信息和决策优势;部队复原力;提高人的绩效;多国综合瞄准和射击能力;有效的多国规划能力以及军事职能领域的行动协调。
本文提出的建议如下
各国迅速实施本报告中确定的 C2 互操作性行动;
各国根据北大西洋公约组织(NATO)标准化协议和联邦任务网络螺旋规格/程序,优先实现国家 C2 现代化;以及
各国根据北约的指导方针,优先对人员/领导层进行 C2 教育和培训,为参与联军行动做好准备。
图 3 - Aimpoint:在特定活动的任务网络联盟中快速整合指挥和控制能力
迁移学习旨在将知识或信息从源领域转移到相关的目标领域。在本文中,我们从知识可迁移性和可信度的角度理解迁移学习。这涉及两个研究问题: 1. 如何定量测量和增强跨领域的知识可迁移性? 1. 我们能否信任迁移学习过程中转移的知识? 为回答这些问题,本文从多个方面对可信迁移学习进行了全面的综述,包括问题定义、理论分析、经验算法和现实应用。具体而言,我们总结了在(同域)独立同分布(IID)和非独立同分布(non-IID)假设下,理解知识可迁移性的最新理论和算法。除了知识可迁移性外,我们还回顾了可信度对迁移学习的影响,例如,迁移的知识是否具有对抗鲁棒性或算法公平性,如何在隐私保护约束下进行知识转移等。除了讨论当前的进展外,我们还强调了在可靠和可信的方式下理解迁移学习的开放问题和未来发展方向。 1. 引言
标准的机器学习假设训练样本和测试样本是独立同分布(IID)的。在这一IID假设下,现代机器学习模型(如深度神经网络(LeCun et al., 2015))在各种高影响力的应用中取得了良好的表现。然而,这一IID假设在实际场景中常常被违反,特别是在样本来自不同来源和环境时(Pan & Yang, 2010;Wu et al., 2024)。迁移学习应运而生,用于解决训练(源领域)和测试(目标领域)数据集之间的分布变化。与仅涉及单一领域样本的标准机器学习不同,迁移学习着重于建模从不同领域收集的异构数据。迁移学习的直觉是通过发现并转移源领域和目标领域的共享知识,弥合它们之间的差距(Pan & Yang, 2010)。与仅从目标领域学习相比,迁移的知识可以显著提高目标领域的预测性能,尤其是在目标领域标注数据有限或不存在的情况下(Ben-David et al., 2010;Tripuraneni et al., 2020)。近年来,通过将学习模型实例化为现代神经网络,引入了具有更强迁移能力的深度迁移学习范式(Yosinski et al., 2014)。如(Pan & Yang, 2010)所示,迁移学习是一个广泛的术语,用于描述从源领域向目标领域转移知识或信息。根据数据和模型假设的不同,它可以导致各种具体问题设置,例如数据层面的知识迁移(领域自适应(Ben-David et al., 2010;Ganin et al., 2016;Mansour et al., 2009a)、分布外泛化(Blanchard et al., 2011;Muandet et al., 2013)和自我学习(Raina et al., 2007)),以及模型层面的知识迁移(微调(Shachaf et al., 2021)、无源适应(Liang et al., 2020a;Aghbalou & Staerman, 2023)、知识蒸馏(Hinton et al., 2015))。过去几十年,关于迁移学习技术在不同数据和模型假设下的泛化性能已有大量研究(Tripuraneni et al., 2020;Zhao et al., 2019b;Minami et al., 2023;Mohri et al., 2019)。除了泛化性能外,理解迁移学习过程中转移知识的可信度(Eshete, 2021)也是至关重要的,尤其是在自驾车和医学诊断等安全关键应用中。正如(Varshney, 2022)所解释的,“信任是信任者与被信任者之间的关系:信任者信任被信任者”。在迁移学习的背景下,信任者可以是源领域或目标领域的所有者/用户/监管者,而被信任者可以是迁移学习模型本身,或是从源领域转移到目标领域的知识。正如早期研究所总结的(Eshete, 2021;Varshney, 2022;Kaur et al., 2023),各种可信度属性可以促使“信任者”在实际场景中信任“被信任者”,包括对抗鲁棒性、隐私、公平性、透明度等。因此,本文聚焦于可信迁移学习(Wu & He, 2023a),旨在从知识可迁移性和知识可信度两个角度理解迁移学习。图1展示了精准农业中可信迁移学习的一个激励性例子(Adve et al., 2024)。在这个例子中,目标农民希望在收集的高粱数据上训练模型,任务是使用叶片高光谱反射率(Wang et al., 2023b;Wu et al., 2022)预测高粱样本的生化特征(例如,氮含量、叶绿素等)。然而,收集标注的训练样本既昂贵又耗时。一种可行的解决方案是利用来自相关玉米数据集的知识,这些数据集由源农民收集。这个迁移学习过程可能涉及源领域和目标领域农民之间的若干可信度问题。例如,迁移学习过程中源数据的隐私是否会泄露?源领域中被污染或存在偏差的知识如何负面影响目标领域的预测性能?迁移性能与可信度属性之间的根本权衡是什么?更一般来说,从数据和AI模型市场(Pei et al., 2023)的角度来看,这强调了在购买AI模型和共享个人数据时建立客户与卖家之间信任的重要性。本综述提供了关于可信迁移学习的最新理论分析和算法的全面回顾。更具体地,我们总结了理解知识可迁移性的最新理论和算法,从IID和非IID两方面进行讨论。IID可迁移性假设每个领域内的样本是独立同分布的。在这种情况下,我们回顾了三种主要的定量指标来评估跨领域的可迁移性,包括(数据层面)分布差异、(任务层面)任务多样性和(模型层面)迁移可估计性。与此不同,非IID可迁移性考虑了更为宽松的假设,即每个领域内的样本可以是相互依赖的,例如,图中的连接节点(Kipf & Welling, 2017)、文本中的词汇出现(Lee et al., 2018)、时间序列中的时间观察(Purushotham et al., 2017)等。接着,我们回顾了在这些复杂情形下如何定量测量和增强跨领域的可迁移性。除了知识可迁移性外,我们还回顾了可信度对迁移学习技术的影响,包括隐私、对抗鲁棒性、公平性、透明度等。最后,我们将突出可信迁移学习的开放问题和未来发展方向。本文的其余部分组织如下:第2节介绍了可信迁移学习的主要符号和一般问题定义;第3节和第4节分别总结了在不同迁移学习场景下的知识可迁移性和可信度;第5节提供了迁移学习技术在现实世界应用中的应用;第6节总结了可信迁移学习的开放问题和未来趋势;最后,第7节对本文进行了总结。
**论文题目:**TrustUQA: A Trustful Framework for Unified Structured Data Question Answering **本文作者:**张文(浙江大学)、金龙(浙江大学)、朱渝珊(浙江大学)、陈矫彦(曼彻斯特大学)、黄志伟(浙江大学)、汪俊杰(浙江大学)、华尹(浙江大学)、梁磊(蚂蚁集团)、陈华钧(浙江大学) **发表会议:**AAAI 2025 **论文链接:**https://arxiv.org/abs/2406.18916 ****代码链接:https://github.com/zjukg/TrustUQA 欢迎转载,转载请注明出处
一、引言
结构化数据问答(TableQA、KGQA、TKGQA 等)在学术界与工业界备受关注。结构化知识问答方法如NL2Query针对特定数据类型将问题转化为对应查询函数,这限制了实际场景中的通用性。随着LLM和RAG方法的发展,一些更加通用的方法被提出,但依然存在如下问题:
检索到无关知识或LLM训练参数本身导致导致LLM幻觉
将结构化数据暴露到第三方LLM中,可能产生隐私数据泄漏
通过结构化数据很难提供高质量的问题解释
因此,我们提出 TrustUQA,统一结构化数据问答的可信框架,可以同时支持不同类型的结构化数据表示与问答,在提供可信的推理基础上最大程度避免数据泄露。
二、方法
图1 TrustUQA流程图
TrustUQA的整体框架如图1所示,主要由三部分组成:
条件图表示带标签的有向图 , 其中 为节点, 为条件三元组。条件图的定义如下:
图3 知识图谱转换为条件图
通过两阶段查询函数实现结构化知识推理与问答。首先通过LLM生成一阶段查询函数,后通过预定义的规则将一阶段查询函数转化为二阶段可执行函数,得到问题答案。在一阶段查询函数,我们设计如下搜索函数从条件图中搜索信息:除上述搜索函数之外,我们还设计了集合操作函数及数值计算函数。在二阶段查询函数,搜索函数将转化为以下可执行函数:
表1 两阶段查询函数转化规则两阶段查询函数转化规则如表1所示。
不同Few-shot样本对LLM的In-Context Learning影响明显,本文提出了动态演示检索器,从训练数据集中检索与问题的个最相似的问题。具体来说,给定一个问题,我们使用文本编码器将和训练问题编码为向量,通过计算问题向量的相似度,并选择个最相似的训练问题,其中。之后,对训练问题迭代生成一阶段查询,如果查询结果与标记的答案一致,则将检索到的问题与对应查询作为少样本样例,提升LLM生成查询函数的准确率。
三、实验结果
我们选用gpt-3.5-turbo-0613作为基础模型进行试验,并选择SentenceBERT作为检索器,在三种结构化数据问答任务:表格问答(WikiSQL,WTQ)、知识图谱问答(MetaQA,WebQSP),时序知识图谱问答(CronQuestion)中5个数据集上进行试验,实验结果如下:
表2 表格问答实验结果表格问答实验结果如表2所示,TrustUQA在WikiSQL数据集中表现优于其他统一的问答方法,但在WTQ中仍有差距。 表3 知识图谱问答实验结果知识图谱问答实验结果如表3所示,TrustUQA在MetaQA下的表现有更强竞争力,但在WebQSP效果显著。 表4 时序知识图谱问答实验结果时序知识图谱问答实验结果如表4所示,我们的方法在各类指标下均取得最优结果。 表5 消融实验表5所示的消融实验分别对个模块进行消融,实验表明动态检索和两阶段查询函数的有效性。 图4 参数及效率分析为进一步探索试验对超参的敏感性,图4为各个参数(样例数量、重试次数、自适应数量)及每个步骤时间的分析,进一步验证方法的高效性。 图5 错误分析图5展示了在运行过程中的3种错误类型,其中出现错误类型最多的是查询生成错误。 图6 跨结构化数据问答分析在文章最后,我们还探索了TrustUQA在混合结构化数据上的QA和跨结构化数据的QA方面的潜力。如图6所示,解答图中的问题依次需要用到表格、知识图谱、时序知识图谱中的数据,通过TrustUQA可以实现跨结构化数据的问答,证明TrustUQA跨结构化数据的问答的潜力。
四、总结与展望
在本文中,我们提出了名为TrustUQA的统一的结构化数据问答的可信框架,其基于一种全新的、通用的数据表示方法——条件图及两阶段查询函数。通过实验证明了TrustUQA在不同类型的结构化数据上的有效性,并展示了处理更一般和更具挑战性的场景的潜力。在未来,我们将探索混合结构化数据问答和跨结构化数据问答等更具挑战性的场景,使得更接近实际应用。
书籍简介
过去十年,由于因果推断在生物医学研究、社会科学、人工智能等领域的广泛应用,因果推断研究与教育引起了极大的关注。本教材基于作者在加利福尼亚大学伯克利分校教授的因果推断课程,过去七年来积累的教学经验,要求读者具备基础的概率论、统计推断、线性回归和逻辑回归知识。书中假设读者对因果推断的了解较少,并在附录中回顾了基本的概率和统计概念。本书从统计学角度讲解因果推断,并包括来自生物统计学和计量经济学的示例与应用。 主要特点:
所有R代码和数据集可在哈佛数据平台(Harvard Dataverse)获取。 * 为教师提供解答手册。 * 包含100多个习题。 * 本书适合高级本科生或研究生层次的因果推断课程,亦适用于统计学和生物统计学系的博士后及博士生课程。
书评
“这本书提供了统计学家对因果推断的视角,对从观察数据中推断因果关系的统计悖论进行了宝贵的回顾,并将这些悖论与Pearl的有向无环图(DAGs)联系起来。关于匹配的文献概述是我见过的最好的,书中包含的R代码也是一个巨大的优势。这本书将是高级本科生和硕士项目中因果推断的极好入门教材。” —— 布莱恩·道德教授,美国明尼阿波利斯大学 《因果推断入门》由彭丁所著,作为该领域的权威,本书的技术水平使其区别于现有的因果推断教材。对于具有良好数学和统计学背景的公共卫生、医学和社会科学领域的学生和研究人员来说,这本书将是一本宝贵的资源。书中的习题引导读者通过重要的结果,附录复习了关键的数学和统计概念,并包含了精心编写的R代码,极大地帮助理论转化为实践。” —— 埃本·凯纳教授,美国俄亥俄州立大学 “彭丁教授在这本书中做了一件令人印象深刻的事情——为因果推断提供了一个清晰、精准且全面的介绍。这本书是任何有兴趣理解因果推断的人必备之作。我强烈推荐。” —— 雨果·贾勒斯教授,美国雪城大学麦克斯韦公民与公共事务学院 作者简介
彭丁是加利福尼亚大学伯克利分校统计学系的副教授。他的研究主要集中在因果推断及其应用领域。
最先进的机器学习模型极为强大,最终正在突破进入计算机视觉和自然语言处理的商业产品领域。这些成功模型的共同特点是,它们都需要大量的数据集进行训练。
沿着这一趋势,大规模基于学习的方法为机器人研究提供了一条有前景的发展路径。这种思路自然引出了两个问题:我们能从哪里收集合适的数据?如何利用这些数据创造有效的机器人系统?幸运的是,已经存在大量数据,展示了机器人需要理解的现实环境和交互的复杂性,这些数据以视频的形式存在。然而,这些视频数据不能直接应用传统的机器人学习技术。视频可能缺乏明确的动作或目标标签,通常展示的是次优的轨迹,并且在视觉上和动态上存在显著的体现差距。这些挑战突显了需要新的机器人学习方法,以克服这些障碍。在本研究中,我们展示了通过“野外视频”实现大规模机器人学习目标的努力,开发了针对每个限制机器人从视频中学习的挑战的解决方法。我们介绍了如何从未标注的视频数据中推断动作和目标,如何从次优数据中学习最佳行为,并通过利用因子化表示来解决体现差距问题。总体而言,本论文为如何利用视频数据进行大规模机器人学习奠定了基础。我们希望这项工作能成为实现通用机器人代理的一步,从而在世界上产生积极的影响。
摘要—人工智能(AI)通过计算能力的提升和海量数据集的增长迅速发展。然而,这一进展也加剧了对AI模型“黑箱”性质的解释挑战。为了解决这些问题,可解释人工智能(XAI)应运而生,重点关注透明性和可解释性,以增强人类对AI决策过程的理解和信任。在多模态数据融合和复杂推理场景中,多模态可解释人工智能(MXAI)的提出将多种模态整合用于预测和解释任务。同时,大型语言模型(LLMs)的出现推动了自然语言处理领域的显著突破,但它们的复杂性进一步加剧了MXAI问题。为了深入了解MXAI方法的发展,并为构建更加透明、公平和可信的AI系统提供重要指导,我们从历史的角度回顾了MXAI方法,并将其划分为四个发展阶段:传统机器学习、深度学习、判别式基础模型和生成式大型语言模型。我们还回顾了MXAI研究中使用的评估指标和数据集,最后讨论了未来的挑战和发展方向。与此综述相关的项目已创建在 https://github.com/ShilinSun/mxai_review。
关键词—大型语言模型(LLMs)、多模态可解释人工智能(MXAI)、历史视角、生成式。
人工智能(AI)的进展对计算机科学产生了重大影响,如Transformer [1]、BLIP-2 [2] 和 ChatGPT [3] 在自然语言处理(NLP)、计算机视觉和多模态任务中表现出色,通过集成多种数据类型。这些相关技术的发展推动了具体应用的进步。例如,在自动驾驶中,系统需要整合来自不同传感器的数据,包括视觉、雷达和激光雷达(LiDAR),以确保在复杂道路环境中的安全运行 [4]。类似地,健康助手需要具备透明性和可信度,以便医生和患者都能轻松理解和验证 [5]。理解这些模型如何结合和解释不同模态对于提升模型可信度和用户信任至关重要。此外,模型规模的不断增大带来了计算成本、可解释性和公平性等挑战,推动了可解释人工智能(XAI)的需求 [6]。随着包括生成式大型语言模型(LLMs)在内的模型变得越来越复杂,数据模态也更加多样化,单一模态的XAI方法已无法满足用户需求。因此,多模态可解释人工智能(MXAI)通过在模型的预测或解释任务中利用多模态数据来解决这些挑战,如图1所示。我们根据数据处理顺序将MXAI分为三种类型:数据可解释性(预模型)、模型可解释性(模型内)和事后可解释性(模型后)。在多模态预测任务中,模型处理多个数据模态,如文本、图像和音频;在多模态解释任务中,利用多种模态来解释结果,从而提供更全面的最终输出解释。
为了回顾MXAI的历史并预测其发展,我们首先将不同阶段进行分类,并从历史角度回顾了各种模型(如图2所示)。在传统机器学习时代(2000-2009年),有限的结构化数据的可用性促进了像决策树这样的可解释模型的出现。在深度学习时代(2010-2016年),随着大型标注数据集(如ImageNet [7])的出现以及计算能力的提升,复杂模型和可解释性研究崭露头角,包括神经网络核的可视化 [8]。在判别式基础模型时代(2017-2021年),Transformer模型的出现,利用大规模文本数据和自监督学习,彻底改变了自然语言处理(NLP)。这一转变引发了对注意力机制的解释研究 [1],[9]–[11]。在生成式大型语言模型时代(2022-2024年),大量多模态数据的集成推动了生成式大型语言模型(LLMs)的发展,如ChatGPT [3],以及多模态融合技术。这些进展提供了全面的解释,增强了模型的透明性和可信度。这一演变导致了对MXAI的关注,它解释了处理多样数据类型的模型 [6]。
然而,最近的XAI综述通常忽视了历史发展,主要集中在单模态方法上。例如,尽管[6]将MXAI方法按模态数、解释阶段和方法类型进行了分类,但忽略了LLMs的可解释性技术。虽然Ali等人 [12] 提出了一个全面的四轴分类法,但缺少关于多模态和LLMs的总结。然而,像[13]、[14]和[15]这样的综述仅关注LLMs的可解释性。我们的研究解决了这些不足,通过提供MXAI的历史视角,分类了MXAI方法的四个时代(传统机器学习、深度学习、判别式基础模型和生成式大型语言模型),并将每个时代分为三个类别(数据、模型和事后可解释性)。本文的主要创新贡献总结如下:
这一时代的重点是通过判别模型(2017-2021年)奠定的基础来推进生成任务。与前辈不同,这些模型,如GPT-4 [240]、BLIP-2 [2] 及其继任者,通过生成连贯且语境相关的文本来增强可解释性,为输出提供自然语言解释。这一进展弥合了人类理解和机器决策之间的鸿沟,使得与模型的互动更加细致,并为模型行为提供了更多的洞察。我们在表V中总结了相关工作。
本文将多模态可解释人工智能(MXAI)方法按历史发展分为四个时代:传统机器学习、深度学习、判别基础模型和生成式大型语言模型。我们从数据、模型和后验可解释性三个方面分析了MXAI的演变,并回顾了相关的评估指标和数据集。展望未来,主要挑战包括可解释性技术的规模化、平衡模型的准确性与可解释性以及解决伦理问题。MXAI的持续进展对于确保AI系统的透明性、公正性和可信性至关重要。
从以往的战斗中汲取灵感和教训或许有用,但世界已经不同,战争的特点也已发生变化。在当今混乱的战场上,整合技术对于加强小单元战术至关重要。
无人系统和先进武器等创新技术在态势感知、精确目标定位和持续作战方面具有显著优势。然而,在这些进步中,必须取得平衡,以确保技术能提高而不是阻碍小单元的有效性。
图:一名乌克兰士兵站在第一人称视角 (FPV) 无人机 “蜂群 ”中。能够观察并迅速调整炮火的无人机操作员仍然是乌克兰战场上最大的威胁。冗余的高空无人机群与较小的现成侦察无人机配合,共同为炮兵提示目标,大大缩短了从观察到射击的时间。
大规模作战给军事活动带来了其他行动中不常见的复杂性、致命性、模糊性和速度。
在这种环境下,技术使陆军能够产生新形式的规模化,如无人系统,在战术边缘进行战略分层。从无人系统到自主系统,这些进步对确保作战成功至关重要。其能够迅速适应不断变化的战场条件,并提高作战效率。
无人系统可提供持续观察,使小分队等小型编队能够迅速收集关键信息并做出明智决策。
这种能力对于提高态势感知能力和作战灵活性非常宝贵,可使小分队迅速适应不断变化的环境。通过利用实时数据和增强型传感器技术,无人系统扩大了近距离作战部队的覆盖范围,为侦察、监视和目标捕获提供了关键优势。
在战场上采用技术不仅能降低人员风险,还能在多样化和充满挑战的环境中提高整体任务效率。
然而,尽管技术具有不可否认的优势,但将其融入小型编队也带来了必须应对的挑战。创新必须补充而不是掩盖小分队的凝聚力和有效性。
他们的成功取决于人的智慧、适应能力和团队合作。技术应围绕这些核心原则,以提高其有效性,而不是渗透到小队中,给士兵的身体和认知造成负担。
保持平衡至关重要;无人系统应增强班组的能力,同时又不影响他们的敏捷性或使他们不堪重负。
与其他战斗力要素一样,技术也会被打败。相信单靠技术就能赢得下一场战斗是一个危险而幼稚的错误。战争不是仅靠最新的小工具和武器就能打赢的。战争需要人类的技能、领导力和适应能力。
看看乌克兰战争就知道了。尽管拥有先进的技术,但双方都发现,采用传统的军事战术至关重要。即使在拥有无人系统和网络战的今天,士兵如果没有扎实的情报、规划、精湛的基本技能和处理模糊问题的灵活性,也不可能取得胜利。仅仅依靠技术肯定会在混乱的战斗中被打得措手不及。
单元在执行日益复杂的任务之前必须掌握基本要领。随着编队向更复杂的集体任务发展,基本任务训练重点为熟练掌握单项任务奠定了基础。
精通基本任务可取得初步战术成功,使编队获得并保持主动权。这种方法可确保小单元做好应对各种障碍的充分准备,加强班组的杀伤力。
小型编队进行战斗演练,以降低机动前与敌人接触的风险。战斗演习是针对战场上常见情况而进行的演练和熟知的行动。它们是本能地进行的,几乎不需要思考或领导者的指导,从而对作战环境做出精心安排的反应。
速度和对基本要素的掌握可提高生存能力和成功率,确保单元能对战场上的威胁和机会做出迅速反应,同时保持凝聚力和行动节奏。
图:2024 年 6 月 13 日,北卡罗来纳州自由堡,北卡罗来纳州陆军国民警卫队中士 Shaquille Siplin 在测试下一代班组武器系统的 XM7 步枪时戴上了夜视镜。一名了解指挥官意图的授权中士作为编队的标兵,在每一次行动中都为编队定下基调。
步兵排尽可能与最小的敌方人员接触,以保持战斗力并掩盖跟随先头部队的主力部队规模和能力。
打赢第一场战斗的责任落在了战斗领导者--中士--的肩上。中士肩负着一项艰巨的任务,即利用胆识、压倒性火力优势、暴力行动,以及运气好的话,出其不意的因素,在潜在的优势对手面前占据优势并生存下来。
这场关键的交战为全排的初始反应定下了基调。它需要果断的领导力来掌握主动权,控制交战的势头,使排能够发挥火力和机动能力。
中士是美国陆军中重要的领导者。失去他们可能会对战斗中的一个排造成损害。这就引出了一个问题:为什么军事条令要将这位关键领导置于矛尖,积极争取并保持与武装敌人的接触?
答案很简单: 一名了解指挥官意图、有能力的中士作为编队的标兵,在每一次行动中都会为编队定下基调。
然而,在现代战场上,技术可以避免中士的损失。当预计会与敌人接触时,最好使用无人系统。损失一个小器件,对保存一个火力小组来说,只是很小的代价。
没有任何可比技术系统的价值能超过三到五名训练有素、积极进取的士兵,他们的唯一目的就是在枪声中前进并消灭敌人。
图:2024 年 3 月 18 日,加利福尼亚州欧文堡,一只 Quadruped Ghost 机器狗作为城市攻击的一部分被部署。采用技术并不能取代战术,而应该是战斗演习的补充。例如,在突破埋有地雷的有线障碍物时,各排必须在火力压制下对突破点进行物理压制、遮蔽、保护、缩小和攻击,以夺取对防守敌军的立足点。
采用技术并不能取代战术,而应是战斗演习的补充。例如,在突破布满地雷的有线障碍物时,各排必须在火力压制下对突破点进行物理压制、遮蔽、保护、缩小和攻击,以夺取一个立足点来对抗防守的敌军。
在这次战斗演习中,士兵可以使用无人系统识别突破点,使用远程武器系统进行直接火力压制,精确投放遮蔽物,并在单兵进入战场上最有争议的决定性地点之前,使用机器人在突破点部署爆炸物。
平衡的方法包括将技术融入小型编队,而不是强加给它们。这意味着将技术能力无缝集成到现有行动中,同时保留有效小单元行动所特有的敏捷性和灵活性。士兵必须学会有效利用技术,强调互操作性,并在战术上使用无人系统,以成功完成任务。
除了掌握基础知识和整合技术外,适应能力仍然是成功军事行动的基石。战争的不可预测性要求士兵头脑灵活、思维敏捷,能够随时调整战略和战术。
这种适应能力不是技术所能替代的;相反,必须通过严格的训练和领导力培养来培养这种能力。在逆境中随机应变、随机应变和随机应变的能力是一支真正有效的战斗部队的标志。
当将更多的先进技术融入行动时,必须确保士兵始终站在最前沿,随时准备发挥这些工具的最大潜能,同时又不过分依赖它们。人类智慧与技术创新的融合是我们在战场上保持优势的关键。
本文不是概念性的,所提供的例子也不是理论性的。美国陆军正在转型,在与已知的预算需求和陈旧的记录项目的竞争中积极寻求机会成本。
无法以乌克兰战场上所展示的范围、规模和速度进行转型,但可以从所观察到的经验教训中吸取教训,最大限度地降低成本,及时避免采购陷阱。在作战训练中心,科学家与编队在泥土中进行配对实验,为加快学习和研发提供了机会。
虽然技术能增强小型编队的能力,但技术的成功整合必须经过深思熟虑,并与现有的陆军条令相辅相成。无人系统和先进武器是必不可少的工具,但其价值在于增加而非取代作战中的人的因素。
通过掌握作战基本要素并审慎地接受技术进步,士兵们就能在复杂的现代战争中游刃有余、卓有成效。
战术边缘分队的未来取决于他们能否利用技术的力量,同时在当今复杂的作战环境中保持敏捷、有效和致命的能力。