方法 || 深度强化学习解决交通控制问题

深度强化学习实验室报道

作者：DeepRL

本文作者来自于宾夕法尼亚州立大学，提出了一种使用深度强化学习解决交通问题的方法。

智能交通信号灯控制对于高效的交通系统至关重要。现有的交通信号灯主要由手工制定的规则操作，而智能交通信号灯控制系统应动态调整为实时交通。使用深度强化学习技术进行交通信号灯控制的新兴趋势，最近的研究显示出令人鼓舞的结果。但是，现有研究尚未在现实世界的交通数据上测试这些方法，它们仅专注于研究奖励而不解释策略。而作者提出了一种用于交通信号灯控制的更有效的深度强化学习模型。并在从监控摄像头获得的大规模真实交通数据集上测试了方法。

作者在现有研究方法的基础上提出了使用深度强化学习解决交通控制的方法，整体结构图如下：从图中可以看出右侧使我们熟悉的强化学习的模型结构。在此基础上定义了一些交通控制中的参数

下面是作者提出的模型结构：其中的Q网络结构如下左侧，而经验池的结构如右侧在实验的初始化中，作者设置的相关参数如下在以上模型的基础上，他们针对济南的交通数据进行了相关实验结果如下：原文请详细查看原论文：https://faculty.ist.psu.edu/jessieli/Publications/2018-KDD-IntelliLight.pdf

下面给大家推荐一个我的好朋友，他在学习机器学习技术的同时运营公众：当交通遇上机器学习

重 要 推 荐 !!!

公众号《当交通遇上机器学习》：以各类交通大数据为主线，专注于人工智能，机器学习、深度学习在轨道交通和道路交通的科研前沿与应用～

公众号主要讲述:循环神经网络RNN、LSTM、卷积神经网络CNN、残差网络ResNet、自编码器AutoEncoder图卷积神经网络GCN、Transformer等在各类交通大数据（包轨道交通刷卡数据、国内外出租车GPS数据、国内外共享单车轨迹数据、共享单车订单数据、公交刷卡数据等）领域内的科研前沿与应用现状~

关注公众号：

后台回复“数据”即可获取高达175G的四个月的滴滴GPS数据和滴滴订单数据的获取方式，以及从数据处理（Oracle数据库）、模型构建（机器学习）、编程实现（python）到可视化（ArcGIS）等一系列视频教程和软件安装包。具体请参阅：你想要的交通大数据和学习资料，分享给你！

后台回复“纽约”获取美国纽约10年的出租车轨迹数据以及7年的共享单车轨迹数据。

后台回复“芝加哥”获取美国芝加哥6年的共享单车轨迹数据下载地址。

后台回复“加州”获取美国加州近20年的高速公路交通流量监测数据下载地址。

后台回复“GCN”获取GCN在交通领域内的应用总结PPT。

后台回复“书籍”获取交通领域几本经典pdf书籍，包括城市规划原理，现代交通规划学，交通规划原理。

关于科研，公众号的主要文章列表有：

1. STSGCN：时空同步图卷积神经网络用于交通预测
   

2. GMAN：基于多层注意力图神经网络的交通流量预测
   

3. 基于时空图卷积注意力网络的交通速度预测
   

4. 时空循环卷积神经网络用于交通速度预测
   

5. 基于手机信令数据的动态出行OD以及出行需求估计
   

6. 基于深度学习和多源大数据的浮动共享单车流量预测(附共享单车轨迹数据集下载方式)
   

7. TrajGRU降雨量预测: 一个基准和一个新的模型
   

8. 多步交通需求预测：基于注意力机制的神经网络模型

9. 图卷积神经网络在交通流预测中的应用总结

10. T-GCN：时间图卷积网络用于交通速度预测-模型实验部分

11. 基于深度学习框架的出租车OD需求预测应用对比
    

12. 基于动态时空图卷积神经网络的交通流预测
    

13. 交通预测新视角-基于GCN的出租车OD需求预测
    

14. 基于多图卷积神经网络的多模式交通预测应用对比
    

15. 基于时空注意力机制的图卷积神经网络交通流预测（附数据集下载方式）
    

16. ST-MGCN：基于时空多图卷积神经网络的网约车需求预测
    

17. 基于时空网络的出租车OD需求预测-简介
    

18. 基于时空网络的出租车OD需求预测-模型框架（附数据集下载方式）
    

19. 基于图卷积神经网络的城市轨道交通流量预测
    

20. 基于图卷积神经网络的共享单车流量预测（附数据集下载地址）
    

21. 图卷积神经网络GCN---在交通预测中考虑网络拓扑结构
    

22. 基于ResNet深度时空残差网络的城市交通流预测
    

23. Keras之ConvLSTM参数详解——可以套模型了！
    

24. 交通预测-如何在深度学习框架下考虑动态时空相似性？

25. CNN卷积神经网络如何处理一维时间序列数据？
    

26. CNN卷积神经网络之交通预测案例
    

27. 用来图片识别的CNN卷积神经网络可以做交通预测吗？
    

28. 基于深度学习的短时道路交通流预测：ConvLSTM+Bi-LSTM
    

29. 交通预见未来(1)：循环神经网络之LSTM，不只有七秒钟的记忆

30. 交通预见未来(2): 如何使用AutoEncoder自编码器预测客流量
    

31. 交通预见未来(3):  如果只知道CNN和RNN 你就out了: 初识ConvLSTM
    

32. 交通预见未来(4)：从NLP自然语言处理到工程领域中的时间序列：我们能学到什么？

关于科研生活，公众号的主要文章列表有：

1. 第一次，我们就这样不期而遇
   

2. 那些年，我在读博中明白的5个道理
   

3. 它是一只猫，却成了世界顶级物理学期刊的论文作者
   

4. 朋友在美团的这两年，想和你分享
   

5. 硕博生应该努力走“硬核学术”之路
   

6. 当前（2019年）机器学习中有哪些研究方向特别的坑？最后一点真相了......
   

7. 朋友从研究生生活中得到的经验
   

8. 三个月了，未来的路，还一起走吗？
   

9. 心有所向，未来可期：感恩三年友谊的小船
   

10. 读博一年，10个感悟
    

11. 把读博当成"退路"的同学们,都是怎么想的呢？

12. 博士生存日记：我在“乐与痛”中切换的生活真相

关于投稿，公众号的主要文章列表有：

1. 投稿信（Cover letter）模板与解析：6大要素、20个注意点
   

2. SCI论文在线投稿和审稿：这里有细致的流程和状态指导

3. 期刊编辑没告诉你的那些事……