时间序列分析(Time Series Analysis, TSA)的基础模型近年来备受关注。然而,训练数据的稀缺性与不平衡性仍然严重制约了其发展。受复杂动态系统理论的启发,我们设计了一种序列-符号数据生成机制,能够无限制地生成高质量的时间序列数据及其对应的符号表达。 为充分利用这种具有强相关性的序列-符号数据对,我们提出了 SymTime ——一种利用符号信息增强时间序列表征的预训练基础模型。SymTime 在与下游任务进行微调后,在五个主要时间序列分析任务上均表现出有竞争力的性能,可与基于真实世界数据集预训练的基础模型相媲美。 这一方法突显了序列-符号数据生成预训练机制在缓解数据稀缺问题、提升任务性能方面的巨大潜力。 项目代码已在 GitHub 开源:https://github.com/wwhenxuan/SymTime。

成为VIP会员查看完整内容
12

相关内容

【NeurIPS2024】分子动力学轨迹的生成建模
专知会员服务
12+阅读 · 2024年9月28日
专知会员服务
12+阅读 · 2021年7月16日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【NeurIPS2024】分子动力学轨迹的生成建模
专知会员服务
12+阅读 · 2024年9月28日
专知会员服务
12+阅读 · 2021年7月16日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
相关论文
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
Arxiv
25+阅读 · 2023年3月17日
微信扫码咨询专知VIP会员