【CMU博士论文】基于机器学习的预测: 准确性、可解释性和效率，161页pdf

新的学习算法提高了我们仅通过观察单个事件的过去观察来获取知识的能力，使我们能从观察几个相关事件中学习。这种在时间序列中利用共享有用信息的能力正在引起时间序列预测实践的范式转变。然而，基于机器学习的预测仍面临着一些迫切的挑战，这些挑战限制了其可用性、有用性以及可实现的现实世界的影响，包括人类的可解释性、利用结构化信息的能力、泛化能力和计算成本。本论文通过弥合机器学习和经典统计预测方法之间的差距来解决这些挑战。我们按照以下方式组织了论文。我们介绍了时间序列预测任务，并附带了现代预测模型、它们的优化以及预测评价方法的简要回顾。在接下来的章节中，我们通过三个案例研究来介绍我们的方法。首先，我们将时序分解分析启发的可解释性能力增强到最先进的神经预测算法中，并在短期电价预测任务中展示了其应用。其次，我们通过一种新颖的受小波启发的算法，在长期预测设置中提高神经预测的泛化和计算效率，该算法按顺序组装其预测，强调具有不同频率和尺度的组件。第三，我们通过增强神经预测架构，使用一种专门的概率混合物，能够在其构造中融入聚合约束，来解决分层预测任务，这是一个具有线性聚合约束的回归问题。我们的方法在每个考虑的领域中都提高了现有技术的最高水平。

时间序列预测问题涉及到许多领域，从金融和经济到健康保健分析。随着数据生成的增加，预测需求已从需要预测少量时间序列演变为预测数千甚至数百万个时间序列。从数据中提取可推广的统计模式一直是生成预测的最可靠方法。这就是为什么机器学习已经成为了这项任务最成功的方法之一。在大数据环境下，深度学习（LeCun等人，2015）因为其在最近的预测竞赛中的成功（Makridakis等人，2020a；Makridakis等人，2021）而变得越来越受欢迎，其已经改变了现有的最高水平。深度学习的优点包括：1.预测准确性：全局模型同时适应相关时间序列的历史数据，允许其在它们之间分享信息；这有助于训练高参数化和灵活的模型，这通常会转化为更准确的预测，这种技术被称为交叉学习（Makridakis等人，2020a）。相比于经典方法，该模型能够为几乎没有历史数据的项目提供预测。2.预测流程的简化：深度学习框架能够自动化数据集的特征化，同时其表示具有更长的记忆。使用全局模型大大简化了数据管道，并使过程更高效。虽然训练时间比其他方法更长，但深度学习技术在数据特征化过程中能够补偿这一点，这通常非常快。已经尝试了许多方法和想法进行预测，成功程度各不相同。不同的算法有其优点和缺点，复杂性不同，发展机会和挑战也不同。机器学习有巨大的潜力来提升预测系统，然而一些限制阻碍了其采用，其中我们认为最主要的是缺乏可解释性，处理大量数据或长期预测时的计算可扩展性。受到机器学习预测系统的可解释性和计算成本限制的驱动，在这篇论文中，我们以以下问题为指导进行工作：能否将经济计量学和统计创新结合起来，以提高基于机器学习的预测的可用性、有用性和现实世界的影响？