【斯坦福博士论文】使用结构化状态空间对序列建模，330页pdf

最近机器学习领域取得了重大的进展，其中序列模型是深度学习模型的核心，这些模型在科学应用中取得了广泛的成功。然而，现有的方法需要针对不同任务、模态和能力进行大量的专门化，存在计算效率瓶颈，并且在建模更复杂的序列数据（例如涉及长依赖性的情况）时存在困难。因此，继续开发有原则和实用性的建模通用序列的方法仍然具有基本重要性。本论文提出了一种使用状态空间模型进行深度序列建模的新方法，该方法具有理论基础、计算效率高，并在各种数据模态和应用中取得了强大的结果。首先，我们引入了一类具有多种表示和属性的模型，它们综合了标准深度序列模型（如循环神经网络和卷积神经网络）的优势。然而，我们表明计算这些模型可能具有挑战性，并且开发了一类在现代硬件上非常快速的结构化状态空间，无论是在长序列的扩展上还是在其他设置（如自回归推断）上。最后，我们提出了一种新颖的数学框架，用于逐步建模连续信号，它可以与状态空间模型相结合，赋予它们具有原则性的状态表示，并提高其对长程依赖关系的建模能力。总的来说，这种新的方法类为机器学习模型提供了有效且多功能的构建模块，特别是在大规模处理通用序列数据方面具有重要意义。