美国防部测试和评估 |《序列分析综述》53页报告

序列分析涉及统计评估，在这种情况下，数据的数量、模式或组成并不是在调查开始时就确定的，而是取决于在整个调查过程中获得的信息。尽管序列分析的正式起源于二战期间美国防部的弹道测试（Wald，1945；Wallis，1980），但我们发现它在最近的美国防部测试中使用不足。扩大序列分析的使用范围，有可能节省大量的资金并减少测试时间（国家研究委员会，1998）。本文总结了关于序列分析的文献，并为提供美国防部测试和评估中使用序列分析的建议提供了基本信息。

为美国防部测试和评估中序列分析的应用建立路线图的第一步可能是考虑其在试验中的应用，并审查FDA的指导意见，作为制定标准的手段。序列程序在临床试验中经常被使用。美国食品和药物管理局定期发布指南，代表了他们对这一主题的当前想法。在他们最新的指导意见1中，FDA列出了使用序列程序的以下优势：统计效率、伦理考虑、改善理解和利益相关者的接受度。美国防部测试和临床试验有许多相似之处。两者都需要仔细的计划，每一个从业者都对减少测试事件的数量、加快测试速度、节省资金而不牺牲支持决策所需的信息表现出极大的兴趣。

这篇文献综述按照序列分析中的大类来组织，并在最后列出了带注释的参考文献。为了总结这个主题，我们将序列分析领域细分为三个广泛的功能类别：序列测试、序列设计和序列估计。因为这种分类并不意味着相互排斥，所以一个引文有可能出现在一个以上的类别中。

序列测试

其中，人们必须决定是否需要在每次假设测试后收集更多的数据。这可能涉及对同一假设的重复测试或对多个假设的测试。特别是，序列测试程序允许观察的数量取决于在测试程序中获得的信息，而不是在调查开始时就预先确定的。序列测试的一个主要好处是，与非序列或固定样本量的测试程序相比，预期会减少得出关于假设的结论所需的样本量。

MIL-HDBK-781A和STAT COE（2017）推荐使用专门用于可靠性测试的序列测试。可靠性测试的意图是确定故障时间的分布；它使用顶层指标，如平均故障间隔时间（MTBF），或故障的概率。可靠性抽样计划的大小或长度是由可靠性要求和所需的统计指标决定的。通常选择一个固定期限的测试计划来估计可靠性，因为测试的长度必须事先知道。MIL-HDBK-781A介绍了基于Wald（1945）SPRT的序列概率比试验（SPRT）计划的使用，以确定是否符合特定的可靠性要求。当证明的平均无故障时间很高或很低时，与具有类似风险的固定时间测试计划相比，SPRT计划将节省测试时间。关于在使用序列测试计划时确定初始测试长度，MIL-HDBK-781A指出，"对于序列测试计划，应根据最大允许的测试时间（截断）来计划测试时间，而不是预期的决定点，以避免计划外测试成本和进度超支的可能性"。

序列设计

序列设计是指与实验设计（DOE）有关的一类问题和程序，对于这些问题和程序，所得到的数据的模式和组成以及观察的数量不是在调查开始时就预先确定的，而是取决于在整个调查过程中获得的信息。除了观察的数量外，收集这些观察的条件也取决于从以前的实验中获得的信息。

T&E社区已经接受了使用非连续的DOE来规划开发和操作测试（Freeman等人，2017）。DOE是一种方法，在确定这些因素对输出的影响过程中，允许可控输入因素的系统变化。DOE本质上不是一种序列技术，但包括Montgomery（2017）在内的许多人强烈建议根据以前的实验结果来规划和执行DOE，以增强或告知以后的测试。

序列估计

序列估计描述了一种点或区间估计程序，它允许观察的数量取决于调查过程中获得的信息。虽然有些序列估计程序与固定样本程序相比似乎没有什么好处，但其他程序可以解决固定样本程序无法解决的问题。一般来说，有各种各样的序列估计方法，每一种方法的构建都有一个特定的目的。这类程序可能涉及到停止标准，表明观察的数量何时足够。其他序列估计程序只是寻求在新数据到来时递归地更新估计值，而不考虑停止问题。

Johnson等人（2014年）在弹道阻力测试的应用中说明了几种序列估计的方法。美国防部进行的弹道阻力测试是为了估计弹丸穿透被测系统的装甲的概率。耐弹力测试通常采用敏感性实验技术，其中序列方法被用来估计穿孔概率的特定四分法。

专题

我们审查的最后一类是专题，并包括对相关准则、政策和最佳实践的参考，以及实施序列分析的具体挑战。例如，Avery和Simpson（2020年）指出，序列程序在美国防部的使用具有挑战性，因为测试运行的数量、这些运行的条件以及执行这些运行所需的资源通常在早期决定，并编入测试和评估主计划（TEMP）和测试计划中。此外，当单个测试事件的评分和执行分析所需的时间长于测试之间的预定时间时，以及当利益相关者对测试运行有不同的评估时，序列程序可能被证明具有实施的挑战性。

结论

事实证明，在美国防部T&E中实施序列程序比非序列程序更具挑战性。然而，在可以应用的情况下，我们从审查中发现，序列程序为获得测试效率提供了更多的机会--比如自主防御系统，在过去几年中获得了很多关注。序列方法的使用被强调为一个关键的工具，可以帮助测试人员适应性地、有效地执行测试（Ahner和Parson，2016；Porter等人，2020）。