ICDE 2022 | 港大等提出：基于时空自监督学习的犯罪预测

©PaperWeekly 原创 · 作者 | 李中行

单位 | 华南理工大学

论文标题：

Spatial-Temporal Hypergraph Self-Supervised Learning for Crime Prediction

收录来源：

ICDE 2022

论文链接：

https://ieeexplore.ieee.org/document/9835423

代码链接：

https://github.com/LZH-YS1998/STHSL

港大数据智能实验室（指导老师: 黄超）：

https://sites.google.com/view/chaoh

研究背景

犯罪问题已成为许多城市关注的主要问题，准确的犯罪预测对于政府相关部门的事先决策至关重要。预测城市中每个地理区域的城市犯罪非常具有挑战性，因为复杂的时空犯罪模式因地点和时间段而异。现有的时空预测方法中，基于深度学习方法因神经网络结构具有强大的特征表示能力而脱颖而出。这些深度时空预测方法主要专注于学习时空表征，尽管它们在之前的预测任务中取得了较好效果，但是在预测城市犯罪方面存在局限性。

考虑到实际的场景，犯罪预测问题存在以下独特的挑战：

1. 稀疏监督信号：现有的时空预测模型在有监督学习框架下进行时空预测任务，这需要足够的监督信号来学习准确的时空表征。但是犯罪数据是非常稀疏的，因为犯罪仅在少数时间和少数地区中发生。我们在下图中展示了不同城市犯罪序列密度的分布情况（某个区域发生犯罪的天数/总天数），其中横坐标表示犯罪类型，纵坐标表示区域数量。可以发现，大多数地区的犯罪序列密度较低（例如，[0,0.25]）。稀疏的犯罪信号使得现有的深度模型很难生成准确的时空表征，可能会引发过拟合。

2. 倾斜的犯罪数据分布：城市不同区域的犯罪发生率往往呈现较为倾斜的数据分布，如下图所示。其中 x 轴表示地区索引，y 轴表示对应地区总犯罪数量。在学习地理位置之间的空间依赖关系时，神经网络模型容易受到犯罪多发区域的影响，会牺牲数据较为稀疏区域的预测性能；现有基于图神经网络的时空预测方法中的邻域信息聚合机制将扩大差异分布带来的影响。

综上所述，如果在稀疏并且具有差异分布的犯罪数据上进行有效的时空关系建模，是作为预测犯罪中所面临的重要挑战。

模型介绍

鉴于上述所描述的挑战，我们提出了一种时空自监督学习框架 ST-HSL，整体框架如下图所示。具体而言，我们首先开发了一个时空卷积网络来编码临近区域和时间段之间的局部关系，以及隐式的类型犯罪相关性。然后，我们探索将超图学习与图神经网络架构相结合的潜力，以捕捉全局跨越不同区域犯罪行为的关联性。我们进一步设计了一种新颖的时空超图对比学习范式，使局部和全局关系编码器能够相互协作监督，为稀疏的犯罪数据生成鲁棒的时空表征。

为了增强 ST-HSL 模型以注入全局犯罪数据上下文信息，我们引入了超图 Infomax 网络以实现本地和全局级别表示之间的一致性。接下来，我们将会针对整体模型中的具体模块进行详细介绍。

2.1 时空卷积编码器（局部时空特征编码器）

首先，我们运用时空卷积编码器来建模犯罪数据的局部时空关联性。如下图所示。考虑到不同类型犯罪的发生以复杂的方式相互依赖（例如，由于某些地区缺乏警察资源，暴力犯罪更有可能发生），我们在建模时空关系的同时捕捉隐式犯罪类型依赖。

为了实现这一目标，我们设计了分层卷积编码器。特别地，对于类型感知的空间犯罪模式编码，我们使用了一个三维卷积核，在空间维度和犯罪类型维度上进行卷积操作，以建模邻近地理区域的犯罪依赖关系；类似地，对于类型感知的时间犯罪编码，我们在时间维度和犯罪类型维度上进行卷积操作，模拟相邻时间段内犯罪发生的时间依赖性。为了缓解过拟合和梯度消失的问题，我们在分层卷积编码器加入了 dropout 和残差连接操作。

2.2 基于超图的全局依赖性建模（全局时空特征编码器）

除了建模临近区域之间的局部空间关系外，如果学习到犯罪发生的全域关联性也是准确预测犯罪的关键因素。于此同时，我们的模型也致力于缓解分布差异性带来时空表征学习的影响。

在这个部分中，我们通过提出一个超图学习框架来增强我们的 ST-HSL 模型对全局时空特征学习的能力，以捕获全局水平的跨区域犯罪发生的依赖关系，并缓解分布差异的问题，模块框架如下图所示。

受超图神经网络启发，我们构建一个可学习的动态超图矩阵，利用超边线作为中间枢纽来连接一组区域，不同的区域可以与高阶连接完全相互作用。因此，区域级关系可以通过单个区域和超边之间的超图引导的信息传递模式来捕获。超边数量作为潜在的特征学习通道，以保留来自不同维度的关系语义。通过有效地编码不同区域和潜在超边表示之间的相关性，可以将整个城市中具有相似犯罪分布的区域相关联，以进行有效的知识转移，从而缓解数据倾斜分布问题。

在全局时间关系建模中，我们同样采用了卷积的形式将犯罪模式的时间上下文注入到我们的嵌入范式中，相较于局部时间特征编码，我们采用尺寸更大的卷积核来捕获全局的时间关联。

2.3 双阶段的自我监督学习范式

2.3.1 超图Infomax网络

受 DGI 启发（Deep Graph Infomax, ICLR2019），我们设计了超图 Infomax 网络，通过最大化节点级和图级别时空表示之间的互信息一致性进一步指导并增强可学习超图结构。具体而言，我们随机打乱区域索引的方式生成伪超图结构，然后，通过一个 readout 函数来生成全局表征。以 为目标函数训练超图神经网络，以区分节点嵌入是来自原图还是来自伪图。通过增添额外的辅助任务的方式，为超图结构的学习增加更多的可监督信号。

2.3.2 局部-全局跨视图对比学习

在得到局部特征表示和全局特征表示后，我们设计了跨视图对比学习模块集成局部和全局信息。具体来说，对于所有区域和类别，将来自局部关系建模和全局关系学习的相同区域嵌入作为正训练对；而来自两个视图的不同区域的嵌入被用作负训练对。通过使用余弦相似度函数来度量嵌入之间的相似性，并采用的 InfoNCE 作为目标函数（ ），进一步增强 ST-HSL 模型在不同类型和时间段内区分区域的犯罪发生模式的辨别能力。整个对比学习范式的流程如下图所示：

实验结果

本文实验在来自纽约市和芝加哥的两个收集的犯罪数据集上进行，包含城市不同地点发生的不同类型的犯罪（如抢劫、盗窃）。我们采用平均绝对误差 (MAE) 和平均绝对百分比误差 (MAPE) 作为犯罪预测的评价指标。其具体的数据统计信息如下：

3.1 总体实验结果对比

为了全面评估我们的方法，我们将 ST-HSL 与多种类型的时空预测方法进行了实验效果的对比，结果如下表所示。ST-HSL 在两个数据集的各个犯罪类型上都取得了最好的预测效果。

3.2 消融实验

为了验证 ST-HSL 不同模块的有效性，我们分别从局部时空编码器（下图）和自监督学习框架（下表）两个方面进行了消融实验。为了验证我们的时空卷积网络的有效性，我们生成了两个方法变体：“w/o S-Conv”、“w/o T-Conv”分别禁用空间、时间的局部关系表示。

结果显示 ST-HSL 能有效地从犯罪数据的不同视角（空间和时间信息）中提取有用的知识。类似地，在全局特征编码中，我们验证了超图网络（w/o Hyper）和全局时间编码器（w/o GlobalTem）的有效性。 

此外，为了验证我们自监督框架的有效性，我们生成了四个变体：“w/o Local”、  “w/o Global”、 “w/o Infomax”和“w/o ConL”，分别禁用局部编码器、全局编码器、超图 infomax 网络和双阶段自监督学习以探索 ST-HSL 对比学习范式中每一部分的有效性。

正如下图和下表所示，结合我们的自我监督学习范式，ST-HSL 在大多数评估案例中表现最好。这再次强调了使用超图引导的关系学习增强探索自监督信号的方法，在缓解犯罪数据稀疏问题和倾斜分布问题上的优势，进而生成更优的时空表征。 

在与融合层的对比实验中，我们可以发现，使用对比学习方法聚合局部和全局视图信息的效果优于使用融合层（Fusion w/o ConL）。我们将这种性能改进归因于两个方面：1）对比学习允许模型从数据本身中探索有用的信息，这有助于生成更稳健的特征表示。2) 融合层和跨视图对比学习都可以建立局部和全局特征之间的聚合和平衡。

然而，仅使用有监督的损失来指导融合层进行权衡可能并不容易。通过添加额外的 infoNCE loss 可直观地生成一个引导信息，更好地聚合局部和全局特征。

3.3 模型在稀疏数据上的优势

实验进一步探索了 ST-HSL 方法对稀疏数据的稳健性。具体来说，我们在分别评估了不同方法在具有不同密度（研究背景中挑战（1）所示）的区域的预测精度，结果如下图所示。实验结果显示 ST-HSL 在所有不同犯罪密度程度的区域上始终优于对比的方法，而现有的时空预测方法很难学习稀疏区域的高质量表征。这进一步验证了我们的 ST-HSL 框架在减轻犯罪数据中的数据稀疏性问题方面的有效性。

3.4 实例分析

为了提高模型的可解释性，我们对 ST-HSL 进行了实例分析。具体地，我们首先采样八个超边（例如，e22、e29、e53）并为每个超边生成一个 4 × 3 矩阵。在矩阵中，每一行代表在特定日期与该超边具有最高相关性分数的前 3 个区域。下图第一行结果显示：高度依赖的区域在不同的时间段共享相似的犯罪模式（以相似的颜色显示）。结果验证了我们的超图依赖编码器在时间感知环境中捕获不同地理区域之间的全局依赖关系的有效性。 

此外，我们可视化了全球城市空间中所有区域的超特定依赖分数。可以看出，编码的全球特定区域的犯罪模式（如下图 (a)-(c)、(e)-(g)、(i)-(k)、(m)-(o)）与犯罪发生的基本事实一致（下图 (d)、(h)、(l)、(p)）。这进一步证实了我们的 ST-HSL 方法在捕获复杂和准确的跨区域依赖关系方面的有效性，以适应现实世界的城市犯罪场景。 

为了进一步探索了预测结果背后的可解释性，我们重点介绍了通过我们的方法学习到的芝加哥不同类型犯罪的几个高度相关的地理区域。从以下四个子图中可以注意到学习到的高度依赖区域具有相似的功能（例如，城市公园、餐厅区、购物中心）。这表明可学习超图结构具备从高维语义中捕获区域之间犯罪模式共性的能力。

总结

在这项工作中，我们通过提出一种新的时空自监督学习框架 ST-HSL，将超图对比学习引入到犯罪预测中。ST-HSL 首先通过基于超图的全局关系学习来增强局部时空编码器。然后，在超图结构上，我们引入了一种双阶段自监督学习范式，以增强 ST-HSL 对稀疏犯罪信号的表示能力。在所收集到的城市犯罪数据集的不同实验结果证明了我们 ST-HSL 学习方法的有效性。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·