【ICML2023】序列多维自监督学习的临床时间序列建模

自监督学习（SSL）在临床时间序列数据上已经受到了大量文献的关注，因为这些数据非常丰富，并提供了关于患者生理状态的重要信息。但是，目前存在的大多数针对临床时间序列的SSL方法的局限性在于，它们是为单一模态的时间序列设计的，例如一系列结构化特征（例如，实验室值和生命体征）或单一的高维生理信号（例如，心电图）。这些现有方法不能直接扩展来模拟展现多模态的时间序列，其中每个时间步都记录了结构化特征和高维数据。

在这项工作中，我们解决了这个问题，并提出了一种新的SSL方法——顺序多维SSL——其中SSL损失既应用于整个序列，也应用于序列中的个别高维数据点，以便更好地捕获两种尺度上的信息。我们的策略对于每个层级使用的损失函数的具体形式是不关心的——它可以是对比性的，如SimCLR，或是非对比性的，如VICReg。 我们在两个真实世界的临床数据集上评估了我们的方法，其中时间序列包含（1）高频心电图和（2）来自实验室值和生命体征的结构化数据。我们的实验结果表明，在我们的方法上进行预训练，然后在下游任务上进行微调，与基线相比在两个数据集上都有改善性能，而且在多个设置中，可以带来不同自监督损失函数的改进。