探测掩埋目标的能力对陆军来说至关重要。因此，本报告总结了一项正在进行的研究的第四年，该研究旨在评估影响使用热红外传感器进行掩埋目标探测的检测概率和误报率的环境现象学条件。本研究使用几种不同的方法来识别影响目标探测的主要环境变量：(1) 多级统计建模，(2) 直接图像分析，(3) 基于物理的热建模，以及 (4) 机器学习 (ML) 的应用技巧。此外，本研究开发了一种使用 Canny 边缘方法来识别可能掩埋目标对象潜在区域的方法。最后，开发了一种机器学习方法，通过考虑环境现象学条件来提高自动目标探测和识别性能，与标准自动目标检测和识别软件相比，性能提高了50%。

项目概况

这项研究是为美国陆军作战能力发展司令部、夜视和电子传感器局（NVESD）进行的，属于PE 0602712A，项目H24，"现代化环境特征物理学用于目标探测"。项目监督员是Robert Davis博士。

这项工作由美国陆军工程研究与发展中心寒冷地区研究与工程实验室（ERDC-CRREL）的生物地球化学科学处（Nathan Lamie先生，主任）、陆地与冰冻层科学处（John W. Weatherly博士，主任）、工程资源处（Melisa Nallar博士，代理主任）和部队预测与维持处（Wade Lein博士，代理主任）完成。在出版时，Caitlin A. Callaghan博士是部门主管，Robert Davis博士是地理空间研究和工程/军事工程的技术主管。ERDC-CRREL的代理副主任是Bryan E. Baker先生，主任是Joseph L. Corriveau博士。

本报告的部分内容经过修改，转载自Workman和Clausen（2019）；Clausen, Musty等人（2020）；以及Clausen等人（2021）。公开领域。

ERDC的指挥官是Christian Patterson上校，主任是David W. Pittman博士。

（图 1. 测试地块的高程图，使用空间分辨率为 2.7926 × 2.7926 cm 的激光雷达图像生成，确定 10 × 10 单元网格样本的框中心坐标。 DP为深塑物（也称为Tmp33）； DM是深部金属物体（也称为Tmp11）； SM为浅金属物体（也称为Tmp19）； SP 是浅塑料物体（也称为 Tmp13））

引言

影响用长波红外（LWIR）热传感器探测地表和地下目标能力的环境现象学因素仍然没有得到很好的理解。为了解决这个问题，美国陆军工程研究与发展中心（ERDC）进行了一项为期多年的研究（Clausen、Dorvee等人，2020；Clausen等人，2021，2022；Musty等人，2022）。这些研究使用了ERDC和美国陆军作战能力发展司令部的C5ISR（指挥、控制、通信、计算机、网络、情报、监视和侦察）试验台，该试验台建在新罕布什尔州汉诺威的寒冷地区研究和工程实验室（CRREL）。

1.1 阶段1

第一项研究被称为第一阶段，在2016年至2018年进行，包括建造一个包含掩埋物和传感器的测试地块，并将土壤干扰降到最低（Clausen, Dorvee, et al. 2020）。研究结果表明，显著的空间和热时间变化是由不同的气象和土壤属性条件造成的（Workman和Clausen 2019）。在气象方面，关键的现象学因素是入射的太阳辐射量和气象驱动的表面热交换。关键的土壤属性是地表下的土壤温度、密度、土壤含水量和表面粗糙度（Frankenstein等人，2020）。第一阶段的结论是，地表-土壤温度极其多变，在整个24小时周期内，温度变化量与地表-土壤热异常的空间分布一样，都会发生变化（Clausen, Musty, et al. 2020）。因此，在24小时周期内的某一特定时间内，比较两个不同日子的相同环境条件并不总是产生相同的空间背景和目标热反应。此外，塑料物体比金属物体加热和冷却得更快。

第一阶段的研究结果还表明，与背景噪声相比，图像的时间差增强了对掩埋目标的探测，使其有可能找到在单一图像帧中不可见的物体。时间差对可见度指标的影响表明，归一化对比度指标对物体检测最有用。归一化对比度指标显示，与背景位置相比，被埋物体上方的土壤表现出更大的衍生红外（IR）温度差异，从而在接近太阳正午的晴朗和温暖的日子里更好地检测被埋物体。当进入的太阳辐射大于900W/m2时，深埋的物体就很容易被发现。

1.2 阶段2

第二项研究于2017年至2018年进行，被称为第2阶段（Clausen等人，2021年），包括从试验区移除土壤，将材料均匀化，然后将其重新分为八个不连续的层，或升降层，以及代表感兴趣目标的埋藏传感器和物体。在放置物体和传感器之后，对每个升降层进行激光雷达测量，然后用先前从试验地移除的土壤覆盖，并压实到与背景未受干扰条件一致的均匀土壤密度。试验地土壤的均匀化大大减少了微观的表面-土壤-温度变化，简化了数据的分析。第二阶段的报告（Clausen等人，2021年）侧重于CRREL试验地的设计，以及数据收集方法和初步观察。用交叉相关的统计技术进行了初步分析，以确定气象因素的潜在影响。此外，还利用了一个简单的对比度指标来检测热红外图像中的埋藏物可见度。

第2阶段的结果表明，在接近太阳正午的晴朗和温暖的日子里，埋藏物体上方的土壤在衍生的热红外温度（热可见性）方面表现出比背景未受干扰地区大得多的差异。因此，用热红外探测埋藏物的最佳时间是在对应于高太阳负荷的晴天。最后，在测试地点的大风天里，被埋物体上方的土壤在热红外图像中表现出较小的对比度，这意味着随着风速的增加，这些物体将更难被识别。

1.3 阶段3

2018年至2019年进行的第3阶段（Clausen等人，2022年）以及与尤马试验场（YPG）的对比研究（Musty等人，2022年）的研究目的是继续提高我们对影响土壤时空热差异的环境（土壤和大气）现象学特性以及探测表面和地下物体的能力的理解。用于促进这项工作的CRREL试验田配置与第二阶段的设置相同，详细描述见Clausen等人（2021）。

第3阶段（Clausen等人，2022年）是对第2阶段报告（Clausen等人，2021年）中收集和讨论的数据的全面后续分析。2021）采用多管齐下的分析方法：（1）检测土壤中物体的多变量统计分析，（2）物体可见度的移动箱分析，用替代方法将前视红外（FLIR）相机的辐射度值转换为热温度值，（3）使用热红外图像的土壤温度校准热模型，以及（4）自动检测埋藏物体的简单分类器方法。研究发现，浅层塑料（SP）物体比浅层金属（SM）物体更容易被探测到，而更深的埋藏物（深层金属[DM]和深层塑料[DP]）则更难探测到。对土壤和物体温度对比影响最大的环境现象学变量是背景表面-土壤温度和土壤湿度。

研究了两种将热红外辐射值转换为热温度值的方法，对空气温度、相对湿度和辐射率进行了校正，结果相似。还为试验床开发了一个热模型，校准结果与实际的土壤温度测量结果有相当好的一致性。此外，还开发了一个改进的分类器。该分类器使用物体放置前后的热红外图像的原始热红外辐射度值，为试验地的九个离散部分生成了曲线下面积（AUC）值。确定不同变量对物体能见度的相对影响利用了非线性解释，应用于环境变量的Shapely值，如太阳负荷、土壤湿度、空气温度和土壤导电率的影响最大，依次为。

2020年2月，EDRC-CRREL团队与ERDC岩土结构实验室（GSL）和沙漠研究所的人员一起，还在亚利桑那州尤马的YPG试验场进行了为期11天的实地测试。该测试通过收集CRREL测试地以外的第二个地点的埋藏物可见度数据，扩大了CRREL第二阶段（Clausen等人，2021）的研究结果。Musty等人（2022年）报告了该测试工作的结果。在测试中，两个金属和塑料物体被埋在两个深度，物体的大小、组成和深度与CRREL第二阶段测试地的配置相同（Clausen等人，2021）。此外，测试了塑料和金属表面物体的可见性，共使用了六个曲棍球形状的物体，全部涂上统一的沙漠棕色，以便在视觉上与表面土壤融为一体。

在YPG试验场，使用了在CRREL试验地使用的相同的FLIR相机。两个数据集中，为埋藏物体收集的热图像表现出类似的行为。一般来说，物体的能见度可预测地跟随太阳负荷，与交叉点重合的时间产生最小的能见度。土壤湿度往往会混淆这种影响，土壤湿度的增加通常会降低目标的可见度。在YPG数据集中，太阳负荷、土壤湿度、空气温度和土壤导电率是对目标可见度影响最大的环境变量。这一发现与CRREL的测试结果略有不同，空气温度对CRREL的目标能见度的影响似乎比YPG更大。两个数据集中对目标可见度影响不大的变量包括风速、湿度和大气压力。

1.4 阶段4

第4阶段开展的两项独立活动包括：（1）为YPG试验台开发一个三维传热和传质模型；（2）有效生成人工智能/机器学习（AI/ML）合成图像，以训练探测感兴趣物体的ML算法。这两项活动将在ERDC的一份单独的技术报告中描述，该报告目前正在编写中，预计在22财政年度晚些时候出版。

第一项活动是为YPG 3.05×3.05米的试验台开发一个三维传热和传质模型，该模型是基于为CRREL试验场开发的模型。YPG模型被用来探索大气条件和土壤特性对干旱沙漠环境中埋藏物体的热表现的影响，与CRREL/C5ISR试验台形成对比，后者接近于波罗的海的环境条件。此外，这项工作的重点是为CRREL/C5ISR和YPG站点生成合成图像。这就要求模型在传感器性能评估的虚拟环境中运行；这套模型包括植被、土壤（传热和传质）、射线铸模以及ERDC-GSL的基于模型的传感器和对策研究小组正在开发的传感器模型。其目的是将模型生成的合成图像与实际图像进行比较，然后反复调整模型以提高性能。

第二项活动涉及开发一个自动化的综合框架，为多次运行（大约100次模拟）创建输入文件，这些文件最终将被输入ERDC信息技术实验室高性能计算机系统上的高保真物理模拟器。所开发的高效框架将对高性能计算机模拟产生的传感器图像进行适当的标记，以便它们可以用于训练ML算法以提高其性能，并帮助进行全面的系统评估。另外，正在开发一个有效的框架来管理巨大的ML数据集，以便有效地存储和检索真实和合成的传感器图像。

1.5 背景

1.5.1 土壤热特性

由于土壤特性和周围环境条件的变化，土壤的热特性本质上是异质的。土壤的组成在观察到的热反应中起作用。例如，沙质土壤与壤质土壤相比，保留的水分较少，土壤的含水量会影响观察到的热特征（Hong等人，2002年）。其他各种环境因素也会影响土壤的热红外特征：土壤湿度和温度，这是一个时间变量；土壤密度，这是一个物理特性；表面纹理，这是一个地形特性；以及反射率，这是一个光谱-光学特性。众所周知，由于每日和每季的太阳辐射进入，表面土壤的热响应会发生昼夜变化和年度变化（Šimůnek等人，2001；Hong等人，2002；Clausen, Musty等人，2020）。

1.5.2 热红外传感器的能力及其在目标检测中的应用

热红外传感器通常被设计成微测辐射计探测器，通过电阻的变化来测量入射的低纬度辐射。这种输入可以是机械、磁、化学、辐射、热或电的性质（van Herwaarden 1996）。所有自然界的物体都会发出红外线（Planck 1914），其中发射率，而不是反射率，是测量的数量，与绝对温度的四次方成正比。这种被动能力使热像仪成为遥感的理想选择，而不需要提供人工刺激物；热红外已被应用于民用、医疗、安全和人道主义等各种学科（Krstelj和Stepanic 2000）。对于物体探测来说，热传感器可能会受到复杂环境和高背景噪音的阻碍，这需要一个自然加热源（如太阳辐射）来增加目标与背景的温差。为了解决这个噪声问题，已经开发了许多工具，如纳入多模态源（Devaguptapu等人，2019年），应用ML（Batchuluun等人，2021年），以及将表征作为一个逆问题（Thành，2007年）。

1.5.3 环境现象学对热红外传感器的影响

大量的环境因素会影响检测概率和误报率（FAR），如土壤和物体材料的变化、孔隙度、土壤干扰、水分迁移和蒸发，以及地面辐射反射和辐射率。全天变化的太阳输入导致的昼夜热波动在土壤表面形成热对比（Khanafer和Vafai，2002）。埋在地下的物体对热量和水分传递的额外影响增加了这种复杂性（Pan和Mahrt 1987）。土壤水分和密度的增加增加了热传导率，需要对原地土壤特征进行特定的校准（Smits等人，2009）。土壤水分在某些土壤中会产生不成比例的影响，而土壤孔隙率对热导率的影响又会掩盖这种影响，从而导致剧烈的电磁衰减（Koh和Wakeley，2009）。了解现象学以及环境参数的干扰程度有助于量化这些影响，从而通过战略性的消除过程改进当前的检测算法（Howington等人，2019）。

在热成像中使用主动系统的趋势确实也存在一些缺点。必须考虑的是环境中存在的潜在散射机制，以及使用主动系统时被对手的传感器探测的可能性。当空气中的颗粒与波长大小相似时，散射效率增加，可探测性降低。雾气、薄雾和云层中的颗粒从2到20微米不等，使它们成为有效的低纬度散射体（Hudson和Hudson 1975）。此外，降雨也会影响土壤的物理和光谱特性，因为在沙子和淤泥混合的土壤中，淤泥颗粒从较大的颗粒中分离出来，从而改变了表面的颗粒大小分布（Ballard等人，2013）。Ballard等人（2013年）发现，在8.1-9.2微米波段（热波段）的反射率最为深刻。Ewing等人（2020年）进一步探讨了reststrahlen波段的反射率随着沙子和淤泥比例的增加而增加。最大反射率发生在80%的沙子上。Ballard等人（2013年）也证明了混合土壤给出了一个可重复的反射率下降。

土壤温度的变化进一步影响沙子的导热性和扩散性。对于所调查的硅砂样品，Smits等人（2013年）发现，土壤温度大于50°C时，热导率和扩散率增加最明显，与独立的经验模型一致。但表面湿润度和热惯性阻碍了对表面温度的准确预测（Price 1985），导致了复杂的热变化。然而，土壤的几个属性可以用近红外反射光谱法快速分析，这是用于谷物和饲料质量评估的主要分析技术（Chang等人，2001）。

此外，水分子具有红外活性，因此热红外波段的大气透射被水蒸气的分子旋转转换或液态水的氢键相互作用的增宽效应所削弱（Gorman 1957；Raqueno等人，2008）。Van Dam等人（2003年）得出结论，水含量确实影响了热特征，尽管这种关联并没有一个可量化的线性关系。相反，考虑到受干扰和未受干扰土壤的特性，可以帮助更好地探测埋藏物（Koenig等人，2008）。埋藏物的存在扰乱了土壤的热和扩散参数，使异常检测成为可能（Frost 2006）。然而，现在研究界普遍认为，是土壤的干扰和土壤特性的改变引起了热特征。热对比表现为三种效应：（1）物体本身的热属性可能与它所取代的土壤不同，这可能导致不同的热传输和表面的热表达；（2）干扰土壤通常会改变其密度和热属性，也会导致物理温度的表面表达；（3）干扰土壤会将更细的颗粒重新分配到地表，对于某些土壤成分，会改变其光谱反射率（S. E. Howington, GSL, pers. comm., February 2020）。

有趣的是，表面效应在扰动后的几个月内仍然存在，并增强了由埋藏物引起的对比度，这一现象也在我们早期的工作中观察到（Clausen, Musty, et al. 2020, 2021）。

Swiderski等人（2012）扩展了Hong等人（2002）和van Dam等人（2003）的工作。他们使用物理测量和数值建模技术来观察各种水分水平和土壤密度对埋藏物探测的影响。Howington等人（2012年）认为，必须在与传感器图像像素相同的尺度上（几厘米）考虑水文地质的变化，以隔离和量化近地表过程的相互作用，从而产生一个准确的模拟。高分辨率的合成热图像制作有助于优化爆炸物探测（Peters等人，2007）。这与土壤中的热流和水流的数学和统计模型相结合（Lamorski等人，2002），高度依赖于对外部条件的了解。由于水在土壤中的非线性运动和干燥过程中表面温度的变化，预测预期的表面-土壤温度很复杂（Frost 2006）。Thành等人（2011年）引入了逆向问题设置，并使用最小二乘法来检测被埋物体。他们的研究小组证实，物体埋得越深，重建的精确度就越低，而较大的物体在重建时产生更大的精确度。他们的模型没有处理不均匀的土壤和复杂的形状。

了解气象条件和土壤特性之间的关系对于探测埋在土壤中的物体和预测传感器的性能是最重要的。一个分析性的解决方案需要对埋藏材料、表面成分、水含量和环境湿度的广泛了解。因此，如果不对环境进行绝对量化，这个多变量和多层次的问题是有限的。Van Dam（2003）说，如果不知道所有涉及的参数，就不可能准确预测热特征。

1.5.4 包括热红外在内的多传感器融合

然而，传感器应用界一直在探索 "积极 "的方法，通过利用多传感器方法（有时被称为传感器融合）来提高对埋藏物的探测概率。最近，研究表明，通过利用偏振热传感器，热成像的分辨率和对比度得到了明显的改善，这有可能同时减少背景杂波，同时提高对比度，产生高分辨的融合图像（Baur等人，2018；Jarrod等人，2019）。与周围相比，受干扰区域表现出更高的线性偏振对比度（Gurton和Felton 2012）。Gurton和Felton（2012年）利用旋转-变色-延缓器平台进行低纬度偏振成像，结果提高了可探测性，而不考虑地理位置或土壤类型。同样，Abbott等人（2020年）由于缺乏独立的红外注释数据，利用RGB图像翻译不对应的LWIR/RGB数据集，创建了一个有效的检测算法。Pinar等人（2017年）在可见光和热像仪中加入了前视穿地雷达（GPR）和激光雷达，提高了信噪比（SNR），从而提高了埋藏目标的分类精度。

主动式系统，如GPR与热像仪的卓越站立能力相结合，补充了GPR较高的探测性能（Malof和Collins 2016；Hendrickx等人，2006）。作为一种独立的传感器模式，GPR在地下物体探测中越来越受欢迎（Shaw等人，2016；Kelly等人，2019）。研究已经广泛地探讨了GPR的极化效应（Dogaru和Le 2016；Sagnard 2017）和土壤水分的影响（Miller等人，2002，2004）。Miller等人（2004年）的实地测量得出的结论是，增加非金属埋藏物周围的土壤湿度可以提高沙土和淤泥土的探测效果，这是因为随着含水量的增加，土壤的体积介电常数的反差越来越大。另一方面，粘土显示出相反的效果，随着含水量的增加，衰减会更大，限制了GPR作为独立传感器模式的潜力。

埋藏物探测的其他技术包括使用微波发生器（Deans等人，2001年）和红外加热器（Yao, Wen和Wang，2019年），它们与被动热传感器同时使用，以补充和刺激热变化。姚的团队使用一个调整到800 W/m2的红外灯，在受控的室内环境中模仿地球的自然昼夜循环。Li等人（2020年）采取了不同的方法，通过跟踪声学阻抗的变化，观察埋藏的物体如何影响声学与地震的耦合效率。同样，von Deimling等人（2015年）利用一个参数回声仪系统来研究水下目标反散射的角度响应。最后，Kabessa等人（2016年）引入了一个站立式的生物传感器。

1.5.5 热红外自动目标识别软件应用

军方使用热红外与自动目标检测和识别（AiTD/R）软件配对，以检测场景中的物体。例如，一个常见的应用是用FLIR摄像机在空中探测车辆，因为车辆的热信号与周围场景不同。由于土壤受到干扰，移动车辆的路径也会在土壤表面留下与背景场景不同的热信号。其他应用包括检测直升机、海上船只和人员（Bhanu 1986；Bhanu和Jones 1993；Nasrabadi 2019；Schachter 2020；McIntosh等人2020）。热成像加上AiTD/R软件也被用来探测地面和地下的目标（Nguyen等人，2005；Hong等人，2002；Šimůnek等人，2001）。所有AiTD/R软件的应用都必须执行两个关键任务：从背景场景中检测出一个物体，以及随后对该物体进行分类。

对于AiTD/R算法的检测步骤，用户必须在图像中确定一个感兴趣的区域（ROI），而算法的第二个分类步骤则确定ROI确实是一个物体还是背景杂波。场景越杂乱，就越难确定包含感兴趣物体的ROI。在埋藏物体的情况下，热信号在一天中变化很大；在信噪比低的情况下，AiTD/R算法的检测步骤具有挑战性。检测步骤的一个简单方法被称为双窗或三窗滤波器（Schachter 2013, 2020）。为了执行这种检测算法，我们要计算一个t检验统计，从内窗选择一个样本并与从外窗选择的样本进行比较。如果内窗的统计数字与外窗的统计数字相差很大，那么t检验统计数字将返回一个较大的值。FLIR图像中具有较大t-test统计值的区域可以被选为ROI，在AiTD/R算法的第二分类步骤中进行处理。还存在更复杂的方法来识别图像中的ROI，例如使用深度神经网络和边界框来识别热图像中的异常区域（Nasrabadi等人，2018；Nasrabadi，2019）。对于用FLIR图像进行埋藏物检测，可能适用卷积神经网络的边缘检测类型内核，因为一天中有些时候，埋藏物的热信号和背景的热信号有很大的不同。

AiTD/R算法的分类步骤通常使用统计或ML方法进行。最简单的方法是两类分类器，其中ROI被分类为目标或背景噪声。例如，在线性可分离训练数据的情况下，支持向量机可用于学习两类之间的分离。然而，并不是所有的数据都能通过超平面线性地分离成两类，可能需要使用非线性或统计方法。神经网络，如短时记忆、基于区域的卷积神经网络（R-CNN）或卷积神经网络（CNN）通常被用于分类为两个或多个类别。这样做是因为这些算法的神经网络架构可以学习不同类别之间的非线性关系（Schachter 2015, 2020; Nasrabadi 2019; McIntosh等人2020）。还有一类基于ML的自动目标识别（ATR）算法，是单步算法，而不是上述的两步算法。这些一步算法同时检测和分类ROI都在一个单一的算法中，而不是将两个算法耦合在一起形成ATR。最先进的一步算法是You Only Look Once（Redmon和Farhadi 2017）和Single Shot Detector（Liu等人，2016）。

1.6 研究目标

这项研究的目的是确定有助于增强或降低探测埋藏物能力的环境现象学变量。一旦确定，次要目标是开发技术，以改善军队使用的现有AiTD/R软件的性能。

1.7 研究方法

该项目包括多项任务，包括(1)开发一种人工智能/ML图像分析方法，使用边缘检测技术来提高物体检测率；(2)通过战略性试验田操作来量化环境现象；(3)评估季节性对土壤热反应的影响。(4)建立入射太阳辐射和表层土壤温度之间的关系，(5)生成模拟埋藏物体引起的土壤扰动的热流模型，包括YPG试验场的基于物理学的三维模型，以及(6)开发合成图像和用于其管理的自动综合框架。