《网络测试开发》美空军最新报告

自 2008 年以来，已进行了多个阶段的研究，以开发和评估网络测试（前身为信息与通信技术素养测试，简称 ICTL），该测试被各军种用作入伍前评估，并预测网络相关军事职业入门级培训的成功率（Trippe 等人，2014 年）。直到最近，网络测试一直采用静态管理格式；也就是说，每个完成特定测试表格的考生都会以相同的顺序看到同一组项目。2018 年，人力资源研究组织（Human Resources Research Organization，HumRRO）开展了支持向计算机自适应测试（CAT）格式过渡的研究，在这种格式下，每个考生都会收到一套独特的题目，这些题目都是经过算法选择的，以优化对考生个人能力水平的估计（Koch 等人，2018 年）。这项工作的成果包括将网络测试项目库分为三个平行的 87 个项目形式（即项目库）的解决方案，CAT 算法可从中抽取项目，以及 215 个可用于试点测试的新项目。

鉴于网络知识的快速发展，目前的工作旨在审查、更新和扩展网络测试项目库，以保持测试的功能，并建立更大、更强大的 CAT 表单。为此，对 2018 年开发的 215 个项目进行了试点测试、校准、等效和筛选，以便纳入新的 CAT 表格。还审查了 2018 年研究中被认为符合操作使用条件的所有项目，并摒弃了在不久的将来过时风险较高的项目。接下来，使用自动测试组件 (ATA) 制作了三份新的 CAT 表格，每份表格包含 112 或 113 个项目。这些表格在目标建构的覆盖范围方面具有可比性，并有力地证明了心理测量的平行性。此外，还进行了广泛的筛选，以发现成对的项目敌人，或由于潜在的提示（即一个题目的内容提供或强烈暗示另一个题目的正确答案）而不应同时施测的题目，将所有成对的敌人在不同的 CAT 表格之间进行了划分。还设计了一个自动敌情检测程序，以补充人工对不断增加的项目库的审查，并最大限度地减少敌情审查过程中的假阴性。

除了开发新的操作表格，还采取措施进一步扩大网络测试项目库，为未来的测试开发工作做好准备。首先，与来自各军种的网络主题专家 (SME) 开展了一次大型审查活动，以更新测试蓝图。然后，招募了 SME 项目编写人员，根据测试蓝图开发和完善新项目。这一开发和审查过程产生了 205 个新的实验项目，将其交付国防测试评估中心 (DTAC) 进行试点测试。