基于数据分布生成的可预测概念漂移适应
DDG-DA: Data Distribution Generation for Predictable Concept Drift Adaptation
论文摘要:在时序数据中,由于环境的不稳定性,数据分布常常会随时间变化且不可预测。这种现象被称为概念漂移,它导致在历史数据上训练的模型在概念漂移后性能下降。为了应对这一问题,前人的工作会检测概念漂移是否发生,然后调整模型以适应最近的数据分布。在很多实际场景中,环境的变化是有规律可预测的,因此可以对概念漂移的未来趋势建模,而不仅让模型适应最近的数据分布。我们提出了一种新方法来预测数据分布未来的变化,然后利用预测的数据分布生成新的训练数据来学习模型以适应概念漂移,最终提升模型性能。我们在股价、电力负荷和日照辐照度三个真实场景预测任务和多个模型上进行了实验验证并得到了显著提升。
代码已开源:
https://github.com/microsoft/qlib/tree/main/examples/benchmarks_dynamic/DDG-DA
论文开创性突破与核心贡献:我们是第一个通过建模数据分布变化来应对可预测概念漂移的方法,并在同类方法中取得了最佳性能。