《学习自动、迁移增强和关系感知标签》IBM、美空军37页报告

团队在 DARPA "少标签学习"（LwLL）计划的所有官方评估中都取得了优异成绩。参加了图像分类、目标检测和机器翻译任务。在许多检查点中，我们都取得了所有执行者中最好的成绩，大大超过了 JPL 团队提供的基准线。

取得这些优异成绩的一个关键经验是，我们要集中精力找到一个好的特征嵌入，这样只需几个示例就能学会新任务。LwLL项目刚启动时，很少的学习机会在很大程度上是由复杂的元学习技术决定的。我们的 ECCV 2020 论文 "反思少点分类：一个好的嵌入就够了吗？[1]和 "A broader study of cross-domain few-shot learning"[2]这两篇论文向社区传达了这样一个信息：使用一个好的嵌入模型比复杂的元学习算法更有效。此外，在我们提出的跨域少样本学习基准中进行评估时，当时的 SOTA 元学习方法的平均准确率比简单微调高出12.8%。

基于这些发现，我们将研究重点放在了识别良好特征嵌入的技术上，包括自监督表示学习和新型模型架构。具体来说，为了便于使用较少的数据（除了较少的标签）进行学习，并减轻与隐私、道德和版权归属相关的重要缺陷，我们探索了基于图形模拟器生成的合成数据的表示学习（用于视觉）和基于程序任务的表示学习（用于机器翻译）。我们还提出了跨领域、跨不同模式（如视觉、音频和语言）的表征学习新方法，所有这些方法都极有可能应用于 LwLL 计划范围内的实际案例中。良好的特征嵌入还取决于模型架构。我们为图像和视频分类提出了新颖的转换器模型，这些模型在标准数据集中表现出色，并能在广泛的下游任务中进行转换。最后，我们还研究了与 LwLL 相关的其他课题，包括迁移学习和生成数据增强。总之，我们的研究已在全球最负盛名的人工智能会议上发表了 20 多篇论文。

我们想强调的是，上述几项研究工作已被集成到我们交付给 DARPA 进行官方项目评估的高性能系统中。例如，我们已经集成了我们的 RegionViT 架构 [3] （ICLR 2022），使用真实数据和合成数据训练我们的模型 [4] （CVPR 2022），并使用标注数据和非标注数据进行表征学习（类似于我们的动态蒸馏网络 [5] （NeurIPS 2021）和任务自适应特征子空间学习 [6] （ECCV 2020））。我们提出的跨领域少量学习基准[2]（ECCV 2020）已被其他 LwLL 表演者和外部社区采用。

除了研究成果和系统交付之外，我们还在 ICCV 2019 和 CVPR 2020 上组织了关于使用有限标注数据进行视觉学习的教程和研讨会。这两项活动都受到了社区的极大关注，DARPA LwLL 项目的几位执行者也参与其中。我们还开发了互动演示，在最后的 PI 会议上向过渡合作伙伴展示我们的研究。