近年来,网络边缘的计算设施迅猛增长,推动了边缘计算网络成为支持各种智能服务的基础设施,如个人语音助手、视频安全监控和自动驾驶车辆。同时,人工智能(AI)的前沿技术已将机器学习(ML)扩展到图领域,并推动了图智能(GI)的发展,这解锁了处理、抽象和学习图结构中海量数据的前所未有的能力。鉴于图与网络之间的内在关系,图表示学习与边缘网络的交叉领域,即边缘图智能(Edge GI或EGI),揭示了它们之间的新型互动——GI模型为建模、理解和优化边缘网络开辟了新途径,反过来,边缘网络作为训练、部署和加速GI模型的物理支持。受此精妙闭环驱动,EGI被广泛认为是充分释放边缘计算潜力的有力解决方案,正引起广泛关注。然而,EGI的研究尚处于起步阶段,通信和AI社区内对一个专门的场所分享最新进展的需求日益高涨。为此,本文提倡EGI的概念,探讨其范围和核心原则,并对这一新兴领域的最新研究工作进行全面综述,具体介绍和讨论了:1)边缘计算和图表示学习的基本原理,2)围绕图智能与边缘网络闭环的新兴技术,即“边缘服务于GI”和“GI服务于边缘”,以及3)未来EGI的开放挑战和研究机会。通过跨越通信、网络和图学习领域的鸿沟,我们相信这篇综述能引起更多关注,促进有意义的讨论,并激发对EGI进一步研究的想法。

近年来,边缘网络迅速发展,通过逐步扩展的计算设施在网络边缘连接起来,边缘网络承载的数据、存储和计算资源数量不断增加。它们已成为支持各种应用的基础设施,如智能工业制造、流媒体视频分析、机器人和车辆互联网等。作为集中核心网络的补充对称性,边缘网络位于互联网的末端,覆盖物理附近的用户,提供了用户中心的服务,减少了响应延迟,提高了资源效率,并增强了隐私和安全性。由于这些独特的架构优势,边缘网络已成为先进通信技术的重要实验场。它们在延迟敏感、资源需求高和隐私保护的要求下,特别适合新兴智能服务,并被广泛认为是弥合人工智能(AI)与人类之间“最后一英里”的有前途的解决方案。 与此同时,AI也在快速发展。为了充分释放大数据在各种形式中的潜力,最近的AI进展将表示学习从欧几里得结构扩展到图拓扑,推动了深度学习(DL)的前沿,形成了新的模型流派,即图神经网络(GNN)。与传统的DNN(如CNN、RNN)通常应用1D/2D卷积不同,GNN引入了图嵌入技术,以从图关系中消化信息。具体来说,它在输入图上迭代地应用邻域聚合,并通过神经网络运算符从不同大小的子图中捕捉层次模式。这使得GNN能够抽象和学习特定顶点、链接或整个图的属性,从而推广到未观察到的图。利用这种强大的表达能力,使用GNN进行学习,即图学习(GL),在图分析性能方面表现出色,并支持各种与图相关的任务,从节点分类和链接预测到图同构和分类。

动机与边缘图智能的好处

鉴于图智能(GI)和边缘网络在各自领域的显著成功,图与网络之间的内在联系促使它们走向融合。GI提供了大量的经验学习模型(如卷积和递归GNN,图自动编码器)以及各种学习范式,如迁移学习(TL)和强化学习(RL),从图数据中进行高级学习。相应地,边缘网络通常包含丰富的平台集,包括移动设备、机器人、车辆和边缘节点,这些平台承载了各种基于图的应用,如交通预测和网络资源管理。它们的双向互动,GI增强和优化边缘网络,而边缘网络支持和加速GI计算,形成了互相赋能的闭环,催生了它们的整合互动,即“边缘图智能”或简称“EGI”。具体来说,通过融合GI和边缘计算,EGI在以下三个方面提供了互惠的好处:

互惠性能提升:随着移动和物联网设备的快速普及,边缘网络中生成的数据在数量和模态上急剧增加(如物理信号、数字音频和视觉内容)。据IDC预测,边缘网络中的数十亿物联网设备在2025年将产生超过90 ZB的数据。这自然为修改、训练和微调GI模型提供了数据温床,从而推动GI模型迈向更高程度的智能。反之,鉴于在边缘网络中收集的丰富关系数据,GI使现代图分析能够理解、诊断和优化边缘网络,从而提高网络性能,如鲁棒性和服务质量(QoS)。

互惠能力扩展:作为互联网的最后一英里,边缘网络不断孵化围绕终端用户的开创性用户中心场景,其中许多场景可以抽象为图(如无线传感器网络、车辆互联网)。这些场景作为需求侧的强大动力,推动GI的发展和部署,扩大GI模型的应用范围。反过来,将GI应用于边缘网络解锁了其在确保边缘网络免受异常影响、开发新的基于图的应用以及智能服务图相关任务方面的扩展能力。这归功于GI模型结合图嵌入和卷积的创新机制,使GI能够在图中进行学习和推理,例如高精度节点识别和链接预测。

互惠技术民主化:技术民主化的愿景是使GI和边缘计算更易于使用、理解和友好,惠及更多人,并已成为社会公益的重要议程。为此,GI和边缘网络通过互相赋能来改进彼此。一方面,边缘网络通过将智能计算拉近终端用户,使其更易获取和负担得起,从而民主化GI,使其在各种场景中可用且个性化。另一方面,通过广泛应用GI于边缘网络,边缘网络也得以推广。特别是,鉴于许多GI模型计算密集和数据依赖的特点,边缘计算通过提供低延迟和减少带宽预算的计算资源,展示了其相对于云计算的明显优势,并与GI高度契合。随着围绕终端用户的GI的普及,边缘网络也因而受到关注和部署,以实现推广。

边缘图智能的范围和分级

虽然EGI这个术语较新,但研究和实践已早有开展。自2015年GCN发展以来,GI在AI社区中日益流行,并引发了在各种现实世界图上构建GNN的浪潮。同时,边缘网络和边缘计算也从2019年开始迅速发展,并积极拥抱AI,催生了边缘AI或边缘智能的概念。目前,EGI的互动已引起业界和学术界的广泛关注,推动了许多创新优化、技术和应用在网络边缘的发展,例如交通流量预测、基于位置的推荐和车辆轨迹预测。作为边缘AI的实质性扩展,EGI揭示了其基本问题——边缘网络和AI技术可以融合到多深,以及它们的融合可以带来多少潜力——并通过丰富的现实应用展示了其强大的能力。

尽管如此,对EGI的讨论仍然局限于单方面的维度。现有文献要么回顾了图学习的现状,但对其在边缘网络中的应用讨论有限,要么特别关注将GI技术应用于某些特定的边缘场景(如交通领域、电网),却忽视了一般边缘网络的整体视野。最近的一些文献也回顾了GI在物联网和无线网络背景下的进展,但主要关注在其讨论范围内的GI应用,缺乏对“边缘服务于GI”方面的系统分类,这是EGI闭环的基本支柱之一。虽然边缘计算和通信社区已广泛研究边缘智能系统,但大多数集中于一般AI计算系统或致力于传统DL工作负载(如CNN或RNN),对具有独特能力和特点的GI模型理解甚少。

本文主张EGI不应仅限于在边缘数据上应用GI或在边缘平台上运行GI。相反,GI和边缘网络正在融合,EGI应作为一个整体来看待,以反映GI和边缘网络之间的内在互动。这表明它们的双向赋能需要全面探索,以便确定和衡量EGI的程度。具体来说,根据GI和边缘网络的融合程度,我们可以将EGI分为六个级别,如图2所示:

Level 0:在边缘网络基础设施中隐含的图数据,分析模型对图结构一无所知。边缘计算系统也以无图方式处理数据。换句话说,无论是模型侧还是基础设施侧,都没有明确处理“图”,因此它们被归类为初始级别。

Level 1:从边缘网络收集的数据被建模为图。1级系统比0级更进一步,赋予边缘数据图语义(使用一般计算方法)。

Level 2:以图形式表示的边缘数据通过传统图计算算法(如PageRank和单源最短路径算法)处理。2级系统通过启用图导向计算能力优于1级。

Level 3:边缘网络利用图数据进行GI模型推理,模型可以在云上训练。与较低级别相比,3级系统在边缘网络中引入了AI,并拥抱GI模型。

Level 4:边缘网络利用图数据进行GI模型训练。4级和3级的关键区别在于能够学习边缘原生GI模型,例如通过边缘数据微调模型参数。

Level 5:交互式EGI,GI和边缘网络可以在运行时动态调整其配置,以实现最佳EGI性能。5级系统优于所有其他级别,因为它们可以动态调整GI和边缘网络,而较低级别的都是静态设置。GI和边缘网络的两个视角达到融合,因为它们完全和谐。

EGI的评级主要分为三个区间。第一个区间涵盖0级到2级,其中EGI与AI关系较小,甚至处理非图数据。第二个区间包括3级和4级,其中EGI通过在边缘网络上进行推理或训练,结合了GI模型。第三个区间是5级,位于最高级别,因为其GI和边缘网络深度融合,并且能够动态适应不同的场景。随着EGI系统达到更高的级别,其GI和边缘网络的融合更深入。因此,GI的智能资源和边缘网络的基础设施资源逐步被开发,以提高EGI性能。然而,这也可能带来额外的开发努力和系统开销。这种矛盾意味着在所有情况下没有“银弹”。相反,实际中的EGI应与用户需求保持一致,并考虑特定应用场景和可用资源预算的联合考虑。

摘要和贡献

在本文中,我们深入讨论了GI和边缘网络如何互惠,并对EGI的最新研究工作进行了全面而具体的综述。特别是,围绕图和网络之间的内在联系,本文首次揭示了GI和边缘网络之间的双向互动,并根据它们的互惠互动提供了简洁的评级。根据评级,我们的综述确定了EGI的四个主要推动因素,如图3所示:

边缘GI应用(第四节):在边缘网络中应用GI的典型应用场景和用例;

边缘网络支持GI(第五节):GI模型计算的范式,包括在边缘网络上的模型训练和推理;

GI优化边缘网络(第六节):用于优化边缘网络的实际GI方法,针对其具体功能;

EGI生态系统(第七节):在硬件、软件和基准测试方面,为高性能EGI计算提供的全栈基础设施支持。

总体而言,这些关键推动因素可以很好地适应闭环,即“边缘服务于GI”和“GI服务于边缘”,如图1所述。在“边缘服务于GI”的过程中,边缘网络为图智能提供物理平台和软件堆栈,作为支持GI模型训练和推理过程的基础设施。更具体地说,GI模型的密集训练工作负载可以通过边缘资源池(如联邦边缘学习)来解决,并开发边缘推理技术以在资源受限和服务水平目标(SLO)要求下部署和加速GI模型。另一方面,在“GI服务于边缘”的过程中,带有这些推理解决方案的GI模型可以高效地在边缘平台上执行,从而启用各种基于图的应用并优化边缘网络的各个方面。除了回顾这些关键推动因素,我们的综述还提供了GI和边缘网络的基本而友好的介绍,不需要GI或边缘计算的先验知识。我们还讨论了未来EGI的各种开放挑战和研究方向,鼓励AI和通信社区共同推动EGI的发展,以惠及更广泛的人群。

本文的其余部分组织如下:首先,第二节和第三节分别简要回顾了图智能和边缘计算网络的基础知识。接下来,后续章节介绍了与四个推动因素相关的研究工作:边缘GI应用(第四节),边缘网络支持GI(第五节),GI优化边缘网络(第六节),以及EGI生态系统(第七节)。最后,第八节讨论了EGI的开放挑战和未来研究机会,第九节作出结论。表1列出了本文中使用的主要缩写。

成为VIP会员查看完整内容
22

相关内容

工业机器视觉中的生成式人工智能综述
专知会员服务
40+阅读 · 9月1日
图机器学习中的安全性:威胁与防护措施
专知会员服务
23+阅读 · 5月22日
时间序列和时空数据扩散模型综述
专知会员服务
55+阅读 · 5月1日
战略战斗游戏中基于模糊XAI的形式化验证
专知会员服务
28+阅读 · 2023年11月1日
专知会员服务
61+阅读 · 2021年6月11日
专知会员服务
40+阅读 · 2021年5月24日
【WWW2021】基于图神经网络的社交好友排序
专知会员服务
48+阅读 · 2021年2月3日
数据受限条件下的多模态处理技术综述
专知
16+阅读 · 2022年7月16日
综述| 当图神经网络遇上强化学习
图与推荐
29+阅读 · 2022年7月1日
时空数据挖掘:综述
专知
24+阅读 · 2022年6月30日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
无人机集群、蜂群与蜂群算法
无人机
89+阅读 · 2018年9月25日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
深度图像先验:无需学习即可生成新图像
论智
45+阅读 · 2017年12月4日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
国家自然科学基金
15+阅读 · 2008年12月31日
Arxiv
159+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Arxiv
148+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关VIP内容
工业机器视觉中的生成式人工智能综述
专知会员服务
40+阅读 · 9月1日
图机器学习中的安全性:威胁与防护措施
专知会员服务
23+阅读 · 5月22日
时间序列和时空数据扩散模型综述
专知会员服务
55+阅读 · 5月1日
战略战斗游戏中基于模糊XAI的形式化验证
专知会员服务
28+阅读 · 2023年11月1日
专知会员服务
61+阅读 · 2021年6月11日
专知会员服务
40+阅读 · 2021年5月24日
【WWW2021】基于图神经网络的社交好友排序
专知会员服务
48+阅读 · 2021年2月3日
相关资讯
数据受限条件下的多模态处理技术综述
专知
16+阅读 · 2022年7月16日
综述| 当图神经网络遇上强化学习
图与推荐
29+阅读 · 2022年7月1日
时空数据挖掘:综述
专知
24+阅读 · 2022年6月30日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
无人机集群、蜂群与蜂群算法
无人机
89+阅读 · 2018年9月25日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
深度图像先验:无需学习即可生成新图像
论智
45+阅读 · 2017年12月4日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
国家自然科学基金
15+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员