【AAAI2024】TimesURL: 自监着对比学习在通用时间序列表征学习中的应用

学习适用于各种下游任务的通用时间序列表征是具有挑战性但在实际应用中极具价值的。最近，研究人员尝试利用自监着学习（SSCL）在计算机视觉（CV）和自然语言处理（NLP）中的成功来解决时间序列表征的问题。然而，由于时间序列的特殊时序特性，仅依赖于其他领域的经验指导可能对时间序列无效，且难以适应多个下游任务。为此，我们审查了SSCL涉及的三个部分，包括1）设计正样本对的增强方法，2）构建（困难的）负样本对，以及3）设计SSCL损失函数。对于1）和2），我们发现不合适的正、负样本对构建可能引入不适当的归纳偏见，既不能保留时序属性，也不能提供足够的判别特征。对于3），仅探索片段级或实例级的语义信息对于学习通用表征是不够的。为解决上述问题，我们提出了一种名为TimesURL的新型自监着框架。具体来说，我们首先引入一种基于频率-时序的增强方法，以保持时序属性不变。然后，我们构建双重“Universum”作为一种特殊的困难负样本，以指导更好的对比学习。此外，我们引入时间重构作为与对比学习的联合优化目标，以捕获片段级和实例级信息。结果表明，TimesURL能够学习高质量的通用表征，并在6种不同的下游任务中实现最先进的性能，包括短期和长期预测、插值、分类、异常检测和迁移学习。