时间序列分析(Time Series Analysis, TSA)的基础模型近年来备受关注。然而,训练数据的稀缺性与不平衡性仍然严重制约了其发展。受复杂动态系统理论的启发,我们设计了一种序列-符号数据生成机制,能够无限制地生成高质量的时间序列数据及其对应的符号表达。 为充分利用这种具有强相关性的序列-符号数据对,我们提出了 SymTime ——一种利用符号信息增强时间序列表征的预训练基础模型。SymTime 在与下游任务进行微调后,在五个主要时间序列分析任务上均表现出有竞争力的性能,可与基于真实世界数据集预训练的基础模型相媲美。 这一方法突显了序列-符号数据生成预训练机制在缓解数据稀缺问题、提升任务性能方面的巨大潜力。 项目代码已在 GitHub 开源:https://github.com/wwhenxuan/SymTime。

成为VIP会员查看完整内容
0

相关内容

【NeurIPS2024】分子动力学轨迹的生成建模
专知会员服务
12+阅读 · 2024年9月28日
【AAAI2024】使用大型语言模型的生成式多模态知识检索
专知会员服务
57+阅读 · 2024年1月19日
【ICML2023】基于最优多任务插值的多模态基础模型迁移
专知会员服务
31+阅读 · 2023年4月29日
专知会员服务
12+阅读 · 2021年7月16日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
【ACMMM2020】零样本语义分割的上下文感知特征生成
专知会员服务
16+阅读 · 2020年8月21日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Arxiv
171+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
484+阅读 · 2023年3月31日
Arxiv
79+阅读 · 2023年3月26日
Arxiv
175+阅读 · 2023年3月24日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关VIP内容
相关资讯
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员