Uber基于RNN的极端事件预测，解决交通问题！

会员服务 ·

Uber基于RNN的极端事件预测，解决交通问题！

2017 年 7 月 28 日 产业智能官

文章来源：uber 编辑：lily

在纽约，每年超过1亿7000万条的出租车行驶数据揭示了这个城市人口活动的脉搏。

（图片说明：纽约城市1年内一亿七千万的出租车行驶轨迹地图；图片来源：HubCab）

（图片说明：堵车，也是纽约城市交通的常态；图片来源：视觉中国）

（图片说明：凌晨3点到6点间JFK机场的出租车接送客情况；图片来源：HubCab）

面对复杂的交通情况，在Uber系统对事件预测使我们能够根据预测用户需求来提高我们的服务质量。最终目标是准确地预测出在预定的时间内Uber将会在何处，何时以及收到多少次的乘车请求。

一般来说，极端事件——诸如假期、音乐会、恶劣天气和体育赛事等高峰旅行时间，只会提高工作规划预测的重要性。在极端事件期间计算需求时间序列预测（demand time series forecasting）是异常检测（anomaly detection），最优资源分配（optimal resource allocation）和预算的关键组成部分。

但不可忽略的一个事实是，虽然极端事件预测在Uber操作中占有举足轻重的作用，但数据稀疏性使得准确的预测具有很大的挑战性。考虑到元旦之夜（NYE），这是Uber最繁忙的日子之一。可是我们只有少数几次元旦之夜的数据可以借鉴参考，而且每个实例可能有不同的用户群组。除了历史数据，极端事件预测还取决于许多外部因素，包括天气、人口增长和诸如驾驶员激励措施这样的市场营销的变化。

在现实生活中，在标准R预测包中发现的经典时间序列模型，通常和机器学习方法组合在一起，从而用于特殊事件的预测，然而，这些方法对于Uber来说，既不灵活也不可扩展。

在本文中，我们介绍一种将历史数据和外部因素相结合的Uber预测模型，以便更精确地预测极端事件，突出其新架构，以及如何与先前的模型进行比较。

创建Uber的新的极端事件预测模型

随着时间的推移，我们意识到为了扩大发展规模，我们需要升级我们的预测模型，从而准确预测Uber市场的极端事件。

我们最终决定基于长短期记忆网络（LSTM）架构进行时间序列建模，LSTM架构是一种具有端到端建模特征，易于整合外部变量和自动特征提取能力的技术。通过在多个维度上提供大量数据，LSTM方法可以建造模拟复杂的非线性特征交互模型。

在选择好架构之后，我们评估了训练模型所需的数据储存，如下所示：

在城市中随时间推移而变化的规模性旅行次数是用于训练我们模型的历史数据储存的一部分。请注意除夕夜期间数据的一个下跌，然后急剧上涨，表示人们在除夕夜期间乘用Uber回家。

其实，极端事件的预测是一件很困难的事情，主要原因是它们的不频繁性。为了克服这个数据缺陷，我们决定训练一个单一的、灵活的神经网络来一次性地对许多城市的数据进行建模，从而大大提高了我们的准确性。

用神经网络构建新的架构

我们的目标是设计一个通用的、端到端的时间序列预测模型，它要具有可扩展性，准确性并且适用于异构时间序列。为了实现这一点，我们使用了数千个时间序列来训练一个多模块神经网络。

我们测量和追踪了原始的外部数据从而构建了如下图所示的神经网络：

我们的模型是使用外部变量，包括天气（例如降水、风速和温度预报）和城市级信息（例如在特定地理区域内的任何给定时间进行的旅行，已注册 Uber用户，本地假期或事件）的组合进行训练的。

这个原始数据用于我们的训练模型中，来进行包括日志转换，缩放和数据转换这样简单的预处理。

用滑动窗口进行训练

神经网络中的训练数据集需要滑动窗口X（输入）和Y（输出）来限定常规值（例如输入大小）以及预测范围。使用这两个窗口之后，我们便可以通过最小化损失函数（loss function），如均方差（Mean Squared Error）来训练神经网络。

X和Y窗口都是以单个增量滑动的，从而生成训练数据，如下所示：

X和Y滑动窗口是由批次，时间，特征（对于X而言）和预测特征（对于Y而言）组成的。

接下来，我们就解释如何使用我们的训练数据来设计自定义的LSTM模型。

调整我们的LSTM模型

在测试期间，我们确认，与基线模型（其中包括单变量预测和机器学习元素的组合）相比，vanilla LSTM操作并没有表现出优异的性能。vanilla模型在未被训练的领域内不能适应时间序列，这导致在使用单个神经网络时表现并不是很好。

使用每一个时间序列要处理百万级指标的方式来训练一个模型是不切实际的：根本没有足够的资源可用，更不用说时间的有限性了。此外，训练单一的vanilla LSTM不会产生竞争性的结果，因为模型不能区分不同的时间序列。虽然时间序列特征和输入可以手动加载到vanilla LSTM模型中，但这种方法是冗长乏味且容易出错的。

为了提高我们的准确度，我们在模型中引入了一个自动特征提取模块，如下所示：

我们的模型由手动派生的时间序列特征（左）和我们提出的具有自动特征提取模型（右）的LSTM架构组成

我们决定构建一个通过自动特征提取模块提供单一模型、异质性预测的神经网络架构。正如上图所示，模型首先通过自动、基于集成的特征提取来初始化网络；在提取特征向量后，再使用标准集成技术对其进行平均。然后将最后一个向量与输入连接从而产生最终预测。

在测试期间，我们能够实现基于LSTM架构的14.09％的对称平均绝对百分比误差（SMAPE）改进，同时比Uber的实时监控和根本原因探索工具Argos中的经典时间序列模型提升25%。

随着我们的架构的成功开发、定制和测试，现在正是将该模型投入生产使用的时候了。

使用新的预测模型

一旦计算了神经网络的权重，它们就可以以任何编程语言形式进行导出和执行。我们当前的途径是首先使用Tensorflow和Keras进行离线训练，然后将生成的权重导出为本地Go代码，如下所示：

该描述模型首先进行离线训练，然后导出到目标语言进行本机执行。

为了本文最初所设定的目标，我们建立了一个模型，使用的数据主要来自于美国五年间使用Uber来完成假期旅行的时间段，比如，像在圣诞节和元旦来临的七天之前、之间和之后所产生的数据。

在一些城市进行预测的期间，我们收集了使用之前的和现在的两种模型所产生的平均SMAPE，如下所示：

我们的新预测模型的效果显著优于以前的预测模型。

例如，我们的新模式发现，预测最困难的假期之一是圣诞节，这与需求中的最大错误和不确定性相对应。

我们描绘了一个城市200天的预期和实际完成旅行的图表，如下所示：

一个城市200多天完成旅行次数的模拟，我们对同一数据的预测凸显了我们新模型的准确性

我们的测试结果表明，与我们的专有模型相比，现有的模型的预测精度提高了2-18％。

虽然神经网络对Uber来说益处颇多，但这种方法并不是“万金油”。根据以往的经验，我们定义了一个三维思维，以此来决定神经网络模型是否适用于你的情况：（a）时间序列数，（b）时间序列长度和（c）时间序列之间的相关性。相对于经典时间序列模型而言，这三个维度增加了神经网络方法进行更准确的预测的可能性。

未来预测

我们打算继续使用神经网络，为异构时间序列创建一个通用的预测模型，作为一个独立的、端到端模型或更大的自动化预测系统中的构建块。

产业智能官

子曰：“君子和而不同，小人同而不和。” 《论语·子路》

云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。

在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。

云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

人工智能通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

新一代信息技术（云计算、大数据、物联网、区块链和人工智能）的商业化落地进度远不及技术其本身的革新来得迅猛，究其原因，技术供应商（乙方）不明确自己的技术可服务于谁，传统企业机构（甲方）不懂如何有效利用新一代信息技术创新商业模式和提升效率。

“产业智能官”，通过采编对甲、乙方参考价值巨大的云计算、大数据、物联网、区块链和人工智能的论文、研究报告和商业合作项目与案例，面向企业CEO、CDO、CTO和CIO，从而服务新一代信息技术输出者和新一代信息技术消费者。

助力新一代信息技术公司寻找最有价值的潜在传统客户与商业化落地路径，帮助传统企业选择与开发适合自己的新一代信息技术产品和技术方案，消除新一代信息技术公司与传统企业之间的信息不对称，推动云计算、大数据、物联网、区块链和人工智能的商业化浪潮。

给决策制定者和商业领袖的建议：

迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临较高失业风险的人群；
超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
开发人工智能型企业所需新能力：员工团队需要积极掌握判断、沟通及创造性思维等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

产业智能官 AI-CPS

用新一代技术操作系统（AI-CPS OS：云计算+大数据+物联网+区块链+人工智能），在商业应用场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。

长按上方二维码关注微信公众号： AI-CPS，更多信息回复：

新技术：“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”；新产业：“智能制造”、“智能驾驶”、“智能金融”、“智能城市”、“智能零售”；新模式：“案例分析”、“研究报告”、“商业模式”、“供应链金融”、“财富空间”。