DARPA "少标签学习 "项目《利用任务和领域结构从小型标签集学习》2023最新报告

本报告详细介绍了在 DARPA LwLL 或 "少标签学习 "项目中采用的方法和取得的成果。

本报告解决的关键问题是从小标签数据集学习的问题。这是许多应用领域经常遇到的问题。尤其是在国防应用领域，标签数据可能是分类数据，因此数量有限。不幸的是，现代深度学习系统需要大量的标注训练示例，这使得它们在标注较少的情况下效果不佳。在本报告中，我们将介绍我们在开发新型学习机器方面所做的努力，这些机器可以有效地从少量标签中学习。

我们对这一问题的主要见解是利用任务和领域中的结构。这种结构可以是关于所需不变性的领域知识。它也可能更无定形，难以具体化，但它可能决定了哪些分类器能在该领域发挥良好的作用。我们探索了三种纳入这种领域结构思想的方法：

1.纳入已知不变量： 我们探索了明确包含已知不变量的机器学习新架构。特别是，我们设计的识别架构允许特征在空间上移动，以纳入姿势不变性。

2.跨领域学习： 考虑到不同领域之间的相似性，我们探索了跨领域传输所学模型的新技术。

3.特定领域的学习算法： 我们还探索了两个领域的专业学习技术：卫星图像和自动驾驶汽车。对于这些领域，我们利用数据的特殊结构来学习无标签模型。

使用标准基准和 DARPA 评估进行了实验。普遍发现

1.在对领域一无所知的情况下，最佳策略是自我训练，即使用经过适当过滤的网络自身输出作为 "地面实况 "标签。在这里，我们发现了进行自我训练的新方法，即使网络是在完全不同的问题领域中训练出来的。

2.如果我们了解我们正在处理的领域，我们甚至可以建立完全无监督的识别模型，其性能优于有监督的模型。关键是要利用底层数据生成过程的知识。我们在卫星图像和自动驾驶汽车上都展示了结果。