《通过辅助信号、结构化知识和人类专长快速学习》2023年最新38页技术报告

FLASH 项目的最初目标是利用丰富的结构化知识形式，开发新型高效的机器学习算法。具体来说，我们的假设是，适当使用结构化知识可以大幅减少在标准机器学习任务中实现一流性能所需的手工标记数据量，并解决两个关键挑战：

• 利用结构：开发利用结构的通用算法，以便从很少或没有手工标记的示例中学习新概念。
• 推断结构：通过主动从头开始学习或从其他领域转移结构，开发推断结构的通用算法。

我们项目最初的重点是：(1) 程序合成/结构化预测： 设计新的结构化预测和程序合成算法，并利用它们来推断和利用结构；(2) 研究神经表征（向量嵌入），并利用它们来开发将结构嵌入向量表征的新算法，并利用它来支持转移和利用结构；(3) 推断和利用领域知识和辅助信号作为诱导结构的一种方式，更好地解决转移学习问题，并开发新的受限深度学习算法来纳入辅助信号。

FLASH 计划执行了这一计划，并在上述所有领域做出了一系列理论和实践贡献。除了开发理论、算法和表征之外，我们还利用这些理论、算法和表征开发了自然语言和计算机视觉方面的应用。

此外，在 DARPA LwLL 项目过程中，由于大型预训练生成式人工智能模型（包括 ChatGPT 等大型语言模型 (LLM)）的成功，该领域的重点发生了变化。虽然工作目标没有改变，但我们自己的研究议程适应了该领域的这些变化，同时与我们最初提议的广泛目标保持一致。例如，我们提出的大部分向量嵌入工作都扩展到了研究 LLM，我们在程序合成方面的工作也加入了神经肌张力元素，详见下文。

FLASH 计划在顶级会议上发表了大量论文，下文的描述不会涉及所有这些贡献。相反，我们将重点介绍每个技术领域的一些关键贡献，并请读者参阅以下丰富的参考文献以获取完整信息。