城市计算在大语言模型时代的演进

城市计算作为一个多学科交叉领域,正日益兴起,致力于利用数据驱动的技术应对城市挑战、提升城市生活质量。尽管传统方法在一定程度上取得了成效,但在泛化能力、可扩展性以及上下文理解等方面仍面临诸多挑战。大语言模型(LLMs)的出现为该领域带来了变革性的潜力。 本综述旨在探讨大语言模型与城市计算的交叉融合,重点分析LLMs在处理与分析城市数据、辅助决策制定以及增强公众参与方面的影响力。我们简要回顾了LLMs的发展历程与核心技术,并系统梳理其在交通运输、公共安全与环境监测等关键城市领域的应用情况,概括了相关任务与已有研究成果,同时突出LLMs在不同城市场景中的功能角色与实现模式。 在此基础上,我们提出了若干基于LLMs的潜在解决方案,以应对当前尚未解决的挑战。为促进深入研究,我们还整理了适用于多样化城市场景的开放数据集与工具资源。最后,我们讨论了现有方法的局限性,并展望了LLMs在城市计算领域未来的发展方向。

1 引言

在快速城市化的时代背景下,全球各地的城市正面临前所未有的挑战,这些挑战源于人口密度上升、资源约束与基础设施需求的不断增加 [284]。城市计算作为一个关键的跨学科领域应运而生,旨在利用计算技术的力量来应对这些复杂的城市问题。通过整合数据采集、分析与建模,城市计算致力于提升城市居民的生活质量、增强城市运行效率,并推动可持续的城市发展 [63, 110, 121]。该领域在多个实际城市场景中展现出良好效果。例如,在交通运输中,城市计算可通过智能交通信号控制与实时路径推荐优化交通流,从而缓解拥堵并减少排放 [41]。在环境监测方面,传感器与数据分析被用于追踪空气和水质状况,为政策制定与公共健康干预提供支持 [266]。

深度学习因其强大的表征能力与关系建模能力,在城市计算中发挥着关键作用。城市数据(如交通、安全与环境指标)普遍具有显著的时空相关性。为捕捉时间依赖性,研究者常采用循环神经网络(RNN) [136]、时间卷积网络(TCN) [232]与注意力机制 [182]。而在空间相关性分析中,**图神经网络(GNN)**被广泛应用于建模区域间的交互关系,通过消息传递机制实现信息传播 [108, 111]。对于需在多变环境条件下进行策略决策的任务(如交通信号控制),强化学习常被用于优化决策过程。此外,**卷积神经网络(CNN)**也被用于图像识别任务,例如基于卫星影像的土地利用分类 [14]与基础设施异常检测 [95]。

尽管取得了诸多进展,城市计算仍面临以下关键瓶颈,限制了其潜力的进一步释放: 1. 多模态数据处理能力:城市数据高度异构,涵盖传感器数值、地理空间数据、社交媒体文本以及图像和视频等非结构化数据。传统深度学习模型多专注于单一数据类型,难以有效整合并分析多模态数据,进而影响洞察力的提取。 1. 泛化能力有限:由于城市环境的多样性与动态性,深度学习模型易受时间和空间分布变化影响。基于历史数据训练的模型往往难以适应新的模式,导致模型在不同时间或地点的表现不稳定,限制了其在实际城市环境中的部署。 1. 可解释性不足:城市规划与政策制定者需依赖透明且可解释的模型以便信任和采纳其建议,而传统深度学习模型常被视为“黑箱”,难以提供明确的决策依据。 1. 自动规划能力缺失:当前城市计算中的响应机制依赖于专家对模型预测的解释与行动规划,这种依赖降低了响应效率,制约了实时决策的实现。因此,亟需具备自动规划能力的系统以提升智能水平。

近年来,人工智能因大语言模型(LLMs)的出现而发生了根本性变革,显著推动了自然语言处理(NLP)与语言理解的发展。诸如ChatGPT [156] 与 LLaMA [196] 等代表性模型表现出类人理解能力。其成功依赖于模型架构、计算硬件、大规模高质量数据以及先进训练方法的共同作用。尤其是Transformer架构 [202],通过注意力机制有效建模词语之间的关系并并行处理长距离依赖,成为LLMs的核心技术。随着计算能力的提升与数据规模的扩展,语言模型不断实现规模化演进 [16, 278]。例如 GPT-2 [160] 与 GPT-3 [10],均展示了参数与性能的显著扩展。结合基于人类反馈的强化学习(RLHF) [183] 等技术,这些进展催生了具备强理解与推理能力的复杂模型,极大推动了人工智能的发展。 LLMs的应用已超越传统NLP领域,扩展至计算机视觉(CV) [120]、软件工程 [205]与推荐系统 [162]等领域。近期,其在城市计算中的潜力亦受到广泛关注。例如,在交通预测中,LLMs可处理交通数据中的文本、时空描述,从而提升预测效果 [109];同时,它们还能融合报告与社交媒体等非结构化信息源 [60],实现快速的信息抽取、趋势识别与情感分析。此外,LLMs的推理与规划能力也被应用于旅行规划等场景中 [17],显著简化流程、减少人力投入。 随着LLMs在城市计算中的迅速发展,对相关研究成果进行系统性综述显得尤为关键,这不仅有助于呈现当前技术前沿,也有助于识别面临的挑战与未来研究方向。如图1所示,我们总结了城市计算技术的演进轨迹,突出LLMs在塑造该领域未来发展中的核心地位。

相关综述与差异分析

尽管已有众多综述探讨了城市计算中的时空建模与预测方法,但尚无文献专门聚焦LLMs在城市计算中的应用。例如,文献 [294] 讨论了截至2024年的基于深度学习的数据融合方法,但未涉及LLMs;[84] 回顾了面向时间序列与时空数据的大模型,内容截止至2023年,而LLMs在城市计算中的突破性进展多集中于2023至2024年间。此外,一些研究探讨了城市计算中的基础模型 [271, 272] 与时间序列预测 [114]。作为城市计算的核心方向之一,时空预测方法已有广泛研究:[81] 分析了用于预测学习的时空图神经网络(GNNs),而其他综述则聚焦于GNNs在通用时空数据 [167] 及特定交通数据 [78] 中的应用。随着LLMs的不断发展,其应用已扩展至交通管理 [264]、自动驾驶 [250]与视频理解 [191]等多个领域。 本综述系统分析了LLMs在九个城市计算子领域中的应用情况,强调其有效性与在实际城市场景中的部署形式,同时识别LLMs面临的主要挑战,并提出未来的研究方向与潜在解决方案。

本文贡献如下:

据我们所知,这是首篇系统探讨LLMs在多个城市计算子领域中应用的综述论文。我们全面梳理了相关文献,深入分析了LLMs在包括交通与环境监测等9个城市场景中的应用方式。 * 为提升理解深度,我们系统回顾了各类城市任务的定义、过往方法、LLMs的发展历程与关键技术,并将其在不同城市场景中的功能角色(如编码器、预测器与智能体)进行分类与总结,全面呈现其应用范式。 * 我们整理并分类了城市计算中常用的数据集,提供了详细信息,包括访问链接、数据来源与涵盖区域;同时总结了传统与新兴的评估方法,为研究者提升实验效率提供重要参考。 * 本文总结了LLMs在城市计算中的关键挑战,识别未来研究方向。通过分析其在各领域的发展现状与瓶颈,我们提出了一系列潜在解决方案,并为其在城市计算中的未来发展提供建设性建议。

文章结构安排如下:

第2节回顾LLMs的发展历史与关键技术; * 第3节深入探讨LLMs在城市计算中的具体应用,涵盖交通、安全、环境监测等九大子领域,并在各小节中包括:(i)任务定义与相关研究概述;(ii)LLMs在特定领域中应对挑战的表现;(iii)我们提出的潜在解决方案; * 第4节总结常用数据集与评估方法; * 第5节讨论当前LLMs在城市计算中面临的主要挑战,并提出未来研究方向; * 第6节为全文总结与展望。

成为VIP会员查看完整内容
18

相关内容

大语言模型是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本,还能够深入理解文本含义,处理各种自然语言任务,如文本摘要、问答、翻译等。2023年,大语言模型及其在人工智能领域的应用已成为全球科技研究的热点,其在规模上的增长尤为引人注目,参数量已从最初的十几亿跃升到如今的一万亿。参数量的提升使得模型能够更加精细地捕捉人类语言微妙之处,更加深入地理解人类语言的复杂性。在过去的一年里,大语言模型在吸纳新知识、分解复杂任务以及图文对齐等多方面都有显著提升。随着技术的不断成熟,它将不断拓展其应用范围,为人类提供更加智能化和个性化的服务,进一步改善人们的生活和生产方式。
多模态基础模型的机制可解释性综述
专知会员服务
29+阅读 · 2月28日
大规模语言模型在自动规划中的应用综述
专知会员服务
29+阅读 · 2月22日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
知识图谱与大模型融合综述
专知会员服务
113+阅读 · 2024年6月30日
大型语言模型时代AIOps在故障管理中的综述
专知会员服务
40+阅读 · 2024年6月23日
大语言模型算法演进综述
专知会员服务
77+阅读 · 2024年5月30日
大语言模型视角下的智能规划方法综述
专知会员服务
126+阅读 · 2024年4月20日
大模型时代的自动图表理解综述
专知会员服务
68+阅读 · 2024年3月19日
深度学习在数学推理中的应用综述
专知会员服务
46+阅读 · 2022年12月25日
数据受限条件下的多模态处理技术综述
专知
19+阅读 · 2022年7月16日
基于深度元学习的因果推断新方法
图与推荐
11+阅读 · 2020年7月21日
实体关系抽取方法研究综述
专知
11+阅读 · 2020年7月19日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
基于逆强化学习的示教学习方法综述
计算机研究与发展
15+阅读 · 2019年2月25日
基于Tacotron模型的语音合成实践
深度学习每日摘要
15+阅读 · 2018年12月25日
深度学习与计算机视觉任务应用综述
深度学习与NLP
50+阅读 · 2018年12月18日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2013年12月31日
Arxiv
165+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
448+阅读 · 2023年3月31日
Arxiv
24+阅读 · 2023年3月17日
Arxiv
10+阅读 · 2020年11月26日
Arxiv
11+阅读 · 2018年7月31日
VIP会员
相关VIP内容
多模态基础模型的机制可解释性综述
专知会员服务
29+阅读 · 2月28日
大规模语言模型在自动规划中的应用综述
专知会员服务
29+阅读 · 2月22日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
知识图谱与大模型融合综述
专知会员服务
113+阅读 · 2024年6月30日
大型语言模型时代AIOps在故障管理中的综述
专知会员服务
40+阅读 · 2024年6月23日
大语言模型算法演进综述
专知会员服务
77+阅读 · 2024年5月30日
大语言模型视角下的智能规划方法综述
专知会员服务
126+阅读 · 2024年4月20日
大模型时代的自动图表理解综述
专知会员服务
68+阅读 · 2024年3月19日
深度学习在数学推理中的应用综述
专知会员服务
46+阅读 · 2022年12月25日
相关资讯
数据受限条件下的多模态处理技术综述
专知
19+阅读 · 2022年7月16日
基于深度元学习的因果推断新方法
图与推荐
11+阅读 · 2020年7月21日
实体关系抽取方法研究综述
专知
11+阅读 · 2020年7月19日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
基于逆强化学习的示教学习方法综述
计算机研究与发展
15+阅读 · 2019年2月25日
基于Tacotron模型的语音合成实践
深度学习每日摘要
15+阅读 · 2018年12月25日
深度学习与计算机视觉任务应用综述
深度学习与NLP
50+阅读 · 2018年12月18日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2013年12月31日
相关论文
Arxiv
165+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
448+阅读 · 2023年3月31日
Arxiv
24+阅读 · 2023年3月17日
Arxiv
10+阅读 · 2020年11月26日
Arxiv
11+阅读 · 2018年7月31日
微信扫码咨询专知VIP会员