基于数据分布生成的可预测概念漂移适应

DDG-DA: Data Distribution Generation for Predictable Concept Drift Adaptation

论文摘要:在时序数据中,由于环境的不稳定性,数据分布常常会随时间变化且不可预测。这种现象被称为概念漂移,它导致在历史数据上训练的模型在概念漂移后性能下降。为了应对这一问题,前人的工作会检测概念漂移是否发生,然后调整模型以适应最近的数据分布。在很多实际场景中,环境的变化是有规律可预测的,因此可以对概念漂移的未来趋势建模,而不仅让模型适应最近的数据分布。我们提出了一种新方法来预测数据分布未来的变化,然后利用预测的数据分布生成新的训练数据来学习模型以适应概念漂移,最终提升模型性能。我们在股价、电力负荷和日照辐照度三个真实场景预测任务和多个模型上进行了实验验证并得到了显著提升。

代码已开源:

https://github.com/microsoft/qlib/tree/main/examples/benchmarks_dynamic/DDG-DA

论文开创性突破与核心贡献:我们是第一个通过建模数据分布变化来应对可预测概念漂移的方法,并在同类方法中取得了最佳性能。

成为VIP会员查看完整内容
33

相关内容

WWW2022 | 迷途知返:分布迁移下的图神经网络自训练方法
专知会员服务
16+阅读 · 2022年2月19日
【AAAI 2022】一致性信息瓶颈在域泛化中的应用
专知会员服务
24+阅读 · 2022年1月15日
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
24+阅读 · 2022年1月11日
AAAI 2022 | 面向图数据的对抗鲁棒性研究
专知会员服务
20+阅读 · 2022年1月4日
【NeurIPS 2021】 基于置信度校正的可信图神经网络
专知会员服务
20+阅读 · 2021年12月26日
专知会员服务
19+阅读 · 2021年10月3日
专知会员服务
23+阅读 · 2021年7月10日
专知会员服务
21+阅读 · 2021年3月25日
专知会员服务
35+阅读 · 2021年1月16日
有效且稳健的数据增强小样本学习 | 论文荐读
学术头条
6+阅读 · 2022年3月25日
AAAI 2022|AI顶会论文究竟关注什么?
微软研究院AI头条
1+阅读 · 2022年1月26日
AAAI 2022 | 基于强化学习的视频弹幕攻击
PaperWeekly
1+阅读 · 2022年1月11日
TPAMI 2021|VideoDG:首个视频领域泛化模型
专知
0+阅读 · 2021年12月31日
WSDM2022 | 跨领域推荐中的个性化迁移用户兴趣偏好
机器学习与推荐算法
1+阅读 · 2021年11月3日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
13+阅读 · 2022年1月20日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
38+阅读 · 2020年12月2日
VIP会员
相关VIP内容
WWW2022 | 迷途知返:分布迁移下的图神经网络自训练方法
专知会员服务
16+阅读 · 2022年2月19日
【AAAI 2022】一致性信息瓶颈在域泛化中的应用
专知会员服务
24+阅读 · 2022年1月15日
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
24+阅读 · 2022年1月11日
AAAI 2022 | 面向图数据的对抗鲁棒性研究
专知会员服务
20+阅读 · 2022年1月4日
【NeurIPS 2021】 基于置信度校正的可信图神经网络
专知会员服务
20+阅读 · 2021年12月26日
专知会员服务
19+阅读 · 2021年10月3日
专知会员服务
23+阅读 · 2021年7月10日
专知会员服务
21+阅读 · 2021年3月25日
专知会员服务
35+阅读 · 2021年1月16日
相关资讯
有效且稳健的数据增强小样本学习 | 论文荐读
学术头条
6+阅读 · 2022年3月25日
AAAI 2022|AI顶会论文究竟关注什么?
微软研究院AI头条
1+阅读 · 2022年1月26日
AAAI 2022 | 基于强化学习的视频弹幕攻击
PaperWeekly
1+阅读 · 2022年1月11日
TPAMI 2021|VideoDG:首个视频领域泛化模型
专知
0+阅读 · 2021年12月31日
WSDM2022 | 跨领域推荐中的个性化迁移用户兴趣偏好
机器学习与推荐算法
1+阅读 · 2021年11月3日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员