基于多任务深度学习的时空网络流量预测

1、文章信息

《Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning》。京东智能城市研究院郑宇老师的团队发表在期刊TKDE上的一项工作。

2、摘要

时空网络中流量（例如，汽车、人群和自行车流量）的预测在交通系统中起着重要作用，它包括一个节点的进出流量和不同节点之间的转移流量。然而，这是一个具有挑战的问题，受到了多种复杂因素的影响，例如不同地点之间的空间相关性，不同时间间隔的时间相关性，以及外部因素（事件和天气等）。此外，一个节点的流量（节点流量）和节点间的转移流量（边缘流量）相互影响。为了解决这些问题，本文提出了一个多任务的深度学习框架，该框架可以同时预测时空中的节点和边缘的流量。基于全卷积网络，本文分别设计了两个模型预测节点和边缘的流量。这两个模型通过耦合它们中间层的潜在表示进行连接，一起训练。外部因素通过一个门融合机制集成到框架中。在边缘流量预测模型中，本文采用了一个嵌入组件来处理节点之间的稀疏转移。本文在北京和纽约市的出租车数据上评估本文的方法。实验结果显示本文的方法优于11个基线，例如ConvLSTM、CNN和马尔科夫随机场等。

3、研究内容

时空网络中的流量预测：节点流（node flow）和边缘流（edge flow）预测。

图1 简单时空网络中的流量

3.1 挑战

(1)计算规模和复杂度；

(2)建模多种相关性和外部因素；

(3)边缘流量的动态性和稀疏性。

3.2 贡献

本文提出了一个多任务深度学习（Multitask Deep-Learning ，MDL）框架，包括NodeNet 和EdgeNet分别预测节点和边缘的流量：

（1）NodeNet 和EdgeNet均为三流全卷积网络(3S-FCNs)，捕获三种不同的时间相关性：clossness、period 和 trend 流，每个S-FCN同时捕获近地点和远地点之间的空间相关性；

（2）提出一个门控组件融合外部因素与时空相关性；

（3）为解决稀疏性问题，在EdgeNet中设计了一个Embedding组件，将高纬稀疏的输入编码为潜在的低维表示。

4、模型

MDL由三部分组成：数据转换、节点流建模和边缘流建模。

图2 MDL框架

4.1 EdgeNet

边缘的转移流量通过图像建模：

对于每个节点r_ij，最多有2N次转移的可能性，包括N个转入和N个转出。

其中，N为城市区域的总个数，定义如下：

I和J的定义如下：

通过FCN捕获时空关联。随着卷积层数的增加，FCN可以捕获越来越多的依赖，甚至城市范围的空间依赖。但是，这样的深度卷积网络变得难以训练。因此，本文采用残差连接帮助训练。

图3 残差连接的FCN

4.2 NodeNet and BRIDGE

与EdgeNet相同的是，NodeNet也是基于图像建模；与EdgeNet不同的是，NodeNet 没有嵌入层，因为单次输入的通道数量只有2个。

考虑到节点流和边缘流是相关的，所以从NodeNet 和EdgeNet学习的表示应该是连接的。为了连接NodeNet 和EdgeNet，假设NodeNet 和EdgeNet的两个潜在表示分别为X_fcn和M_fcn。本文提出了两种融合方法。

Sum 融合

将边缘和节点的两种表示直接求和，相同空间节点r_ij通过信道c的输出映射如下:

Concat 融合

通过信道c在同一空间节点r_ij处的映射如下:

图4 使用Concat融合的MDL

4.3 门控机制融合外部因素

外部因素如天气、事件等就像一个门控开关，如果发生，流量将会发生巨大的变化。本文提出一个门控机制考虑外部因素的影响。

首先，得到EdgeNet的门控值:

基于门控机制采用一个Product融合：

同理，最终t时刻NodeNet 的预测为：

5、实验

(1)实验数据

TaxiBJ：2013年-2016年四个时间段北京市出租车GPS数据和气象数据。

TaxiNYC：2011年至2014年纽约市出租车行驶记录，包括：上下车时间和地点。

表1 实验数据

(2)比较结果

表2 TaxiBJ和TaxiNYC数据集上节点流预测

在TaxiBJ数据集上，MRF（Markov Random Field, 马尔科夫随机场）方法比本文提出的MDL的效果更好，原因可能是TaxiNYC数据比TaxiBJ大3倍(表1中的time interval)。换句话说， MDL在大数据上比MRF有更好的性能。

表3 转移预测结果和不同融合策略下的结果

CONCAT + GATING方法效果最好。

6、总结

这是一项经典的多任务学习工作，将时空网络中的节点流量和边缘流量的预测看作多任务，提出了MDL框架同时预测时空网络中的进出流量（节点流量）和转移流量（边缘流量）。

最近，一些基于深度学习的工作预测边缘的转移流量，将城市空间建模为Graph，图的节点为划分的网格或不规则的区域（AOI、TAZ等），通过时空图神经网络预测未来的边缘流量。目前，越来越多的工作考虑外部因素对预测任务的影响，大多数工作仅关注影响造成的结果，解释外部因素对预测结果的影响是值得探索的。

引用

J. Zhang, Y. Zheng, J. Sun and D. Qi, "Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning," in IEEE Transactions on Knowledge and Data Engineering, vol. 32, no. 3, pp. 468-478, 1 March 2020, doi: 10.1109/TKDE.2019.2891537.

下载

https://ieeexplore.ieee.org/document/8606218