GNN+IoT=？弗吉尼亚大学最新《图神经网络与物联网》综述论文，45页pdf全面阐述GNN在IoT中的进展，包括算法与代码数据

2022 年 4 月 2 日 专知

【导读】物联网正在快速发展并产生了大量数据。针对这些异构连接数据，需要进行各种分析处理，图神经网络针对网状数据能够很好地进行建模分析。来弗吉尼亚大学的学者发表《图神经网络在物联网应用》的综述论文，全面回顾了GNN在物联网领域应用的最新进展，包括对各种物联网传感环境中GNN设计的深入分析，包括收集的出版物中的公共数据和源代码的总体列表，以及未来的研究方向。非常值得关注

物联网(IoT)的发展已经彻底改变了人们日常生活的方方面面:医疗保健、家庭、交通、制造、供应链等等。随着传感器和通信技术的发展，智能穿戴设备、相机、智能手表、自动驾驶汽车等物联网设备可以准确地测量和感知周围的环境。连续感知产生大量的数据，给机器学习带来了挑战。深度学习模型(例如，卷积神经网络和循环神经网络)通过从多模态感官数据中学习模式，已广泛应用于解决物联网任务。图神经网络(GNNs)是一种新兴的、快速增长的神经网络模型家族，可以捕捉传感器拓扑中的复杂交互，并已被证明在许多物联网学习任务中取得了最先进的结果。在本综述中，我们全面回顾了GNN在物联网领域应用的最新进展，包括对各种物联网传感环境中GNN设计的深入分析，包括收集的出版物中的公共数据和源代码的总体列表，以及未来的研究方向。为了跟踪最新发表的作品，我们收集有代表性的论文及其开源实现，并在GNN4IoT上创建一个Github知识库。

https://www.zhuanzhi.ai/paper/62ce852e425607984820a453e47981eb

引言

物联网(IoT)是指一组或多组紧密相连的设备，它们通过无线或有线通信技术组成一个网络，协同工作，为用户实现共同的目标。由于传感器、处理和计算能力、嵌入式系统以及各种通信协议(如WiFi、蓝牙和RFID)的不断进步，在过去几十年里，该技术一直在不断发展。当今的物联网设备中有几个主要组件，包括传感单元、处理单元、通信单元及其机械硬件组件，它们作为设备的骨干，通常具有面对面和远程控制的用户界面。在这些设备中，它们的传感和通信能力是它们与非物联网设备的区别。借助传感功能，物联网设备现在可以感知其所处的环境，并随着周围环境的变化了解不同的环境状态。有了通信能力，它们不再是单独工作，而是与其他连接设备及其用户协作，实现更复杂的任务，这是以前认为仅靠它们自己是不可能实现的。

物联网系统非常普遍，因为它们无处不在地嵌入到我们大多数的生活和工作空间中。可穿戴设备，如虚拟眼镜、腕带、智能手表和数字戒指，都在收集我们周围环境和生理状态的数据，以保持我们的安全和健康[27,80]。它们可以在由红外摄像机和智能床组成的ICU智能系统中，观察患者的血压、体温[54]等生命体征，或测量患者的活动量[179]。它们可以是监控摄像头网络，监测社区，并在检测到异常活动时触发警报[103]。此外，还可以利用驾驶员的智能手机卫星/GPS信号进行交通监控，提供实时导航服务和交通预测[112];智能农业，利用湿度和温度传感器监测土壤状况，最终提高作物产量[126,185];智能电网和能源管理，预测能源需求和分配资源，使不同工厂的发电可以智能、高效地调度[149]。我们大多数人都熟悉控制我们的家庭和工作空间的物联网系统，无论是灯、门、扬声器、家电等，所有这些都提高了我们的生活质量[182]。上面列出的应用为物联网传感能够实现的可能性领域提供了一个小小的一瞥。

物联网传感的能力是通过利用不同系统中配备的传感器收集到的数据来实现的。由同质设备类型组成的早期物联网系统产生一致的数据模式，这有利于传统的数据分析方法，如经典机器学习算法和其他浅层学习方法[50,289]。大多数浅层方法，如基于树的模型、SVM和回归，在生成预定义的特征进行建模之前，都需要对原始的感知数据进行预处理。然而，随着越来越复杂和异构的物联网系统在不同的应用领域被采用，挑战也随之增加。一方面，手工制作的特征工程需要相应领域的大量领域知识，这既低效又限制了泛化能力。另一方面，这些特征是肤浅的，通常不能编码设备活动之间的复杂的相互关系，无论是空间上还是时间上。此外，由不同传感器混合产生的数据可能相互补充，或在某些场景中缺失，这在结合不同频率和多种格式采样的音频、视频、运动和环境数据时带来了融合挑战。为了缓解这些问题，深度学习越来越多地应用于物联网传感数据的处理。

随着物联网传感技术的普及，深度学习方法的发展已经出现。在基于计算机视觉的物联网系统中，卷积神经网络(CNN)因其在图像中抽象深层概念的能力而发挥了核心作用[125]。人们还提出了各种各样的(CNN)变体来建模物联网传感数据。例如，Vimal等人将CNN应用于基于物联网的智能健康监测系统[267]，而Li等人将所有传感器数据转换为图像格式，提出了一种用于智能电网电力负荷预测的CNN算法[149]。为了对输入实例之间的时间关系进行编码，CNN还与长期-短期记忆(LSTM)网络相结合。LSTM是一种递归神经网络(RNN)算法，可以提高序列输入中的遗忘问题。例如，Hasan等提出了一种基于CNN-LSTM的智能电网窃电检测方法[98];Han等人设计了一个混合CNN-LSTM框架，用于大城市空气质量建模[95];而Yang等人利用多通道脑电图数据应用并行卷积RNN进行情感识别[298]。

物联网传感领域的深度学习方法最近的发展集中在图神经网络(GNN)及其变体上。除了CNN和RNN提供的功能外，将GNN应用于物联网传感数据建模还有几个好处。事实上，CNN和RNN都可以被视为一个简单的GNN, CNN有固定大小的网格图，RNN有线形图，而典型的GNN有更复杂的图，没有固定的形式，无序节点的大小是可变的，每个节点的邻居数量是可变的[329]。GNN的额外复杂性使我们能够有效地编码物联网传感系统中设备之间的复杂关系和相互依赖关系，以及物联网设备随时间推移的数据实例之间的关系。物联网传感领域的广泛应用已经利用GNN来表示他们在相关数据上的学习问题，包括团队协作[277]、交通监测和预测[40,51,112,143,321]、远程场景分类[157]、机器人抓取[81]、运动分析和目标检测[105,237]、公共服务[318]、能量管理[209]、自动驾驶[32、147]、社会感知[36]、个人健康[61]等。物联网传感领域的GNN已取得显著成功，其性能超过或可与现有基准相媲美。认识到它们的重要性，全面了解GNN技术的新发展及其在物联网传感中的应用至关重要。

在本综述中，我们试图通过总结现有的GNN在物联网传感应用中的工作来弥补这一差距。我们为物联网感知范式创建了一个统一的框架，将物联网感知划分为人类感知、自主事物感知和环境感知。然后简要介绍了GNN，并定义了物联网传感中GNN建模的分类。然后，根据数据如何通过图形表示来建模问题，将GNN方法分为多智能体交互、人类状态动力学和物联网传感器互连。通过这种分类，我们对物联网传感中GNN模型最重要的工作进行了全面的综述。此外，我们还收集了一份可用于GNN和物联网传感交叉研究的公共数据资源列表，以及使用基于GNN的技术的不同物联网应用领域的总结。最后，对该领域面临的重要挑战进行了深入全面的讨论，并指出了未来的研究方向。

图1所示。从自主物、人、环境三个角度分析典型物联网传感对象。

本文的其余部分组织如下: 第2节说明了我们的综述与GNN方法中现有调查的不同之处。第三节建立物联网感知范式，梳理物联网系统中不同的感知对象以及它们之间的关系。然后，介绍了图神经网络的初步知识，以帮助读者理解GNN的关键概念。在第3节的基础上，第4节提出了一种新的分类方法来对物联网感知中的GNN进行分类。在第5节中，我们总结了现有的可访问的公共数据源以及在物联网传感方面的现有应用。在第6节中，我们讨论了在物联网传感应用中采用GNN模型存在的挑战，并指出了该领域潜在的未来方向。我们在第7节中总结了这篇综述论文。

在本综述中，我们将基于GNN的物联网传感模型分为多智能体交互图建模、人类行为动力学模型和物联网传感器互连模型。这种GNN分类是基于3.1节中提到的不同感知范式(如自主事物、人类和环境)中图形建模的语义解释。例如，在自主事物中，GNN利用图来表示多主体交互，其中节点表示自主主体或人，而边表示物对物或物对人之间的交互关系。我们进行这一分类的基本原理是，感知对象的图建模在GNN在物联网领域的应用中发挥着关键作用:图构建中的节点表示和边缘连接在不同的感知场景中有不同的含义。例如，在多智能体交互的GNN中，节点代表智能体，而在人类行为动态的GNN中，节点代表人类的状态。物联网感知中交互关系的领域知识决定了传感器拓扑中信息转换的机制，并指示设计一个有效和高效的GNN体系结构来完成相应的学习任务。物联网中GNN的分类总结如图3所示。

我们将使用GNN对HSD进行建模的过程概括为一个框架，如图5所示。HSD的GNN建模包括三个步骤:1)以人为中心的感知;2)人类行为(传感器)的图形表示;3)行为推理。表2总结了现有工作的不同之处，包括使用的传感器、输入数据类型、GNN模型、GNN内核和学习目标。

GNN设置了克服上述问题的步骤，以更好地建模物联网传感器数据互连。GNN考虑了地理空间的影响，通过结合图的结构化关系信息，将位于不同位置的物联网传感器连接起来，在智能交通网络和电网网络等应用中实现了更好的预测性能。GNN还有助于发现传感器之间的隐式互连。例如，在多模态传感器网络(如照明、环境)中，每个传感器可以表示为图中的一个节点，需要使用数据驱动的方法来学习它们的潜在互连关系。已有的研究说明了应用GNN在涉及物联网传感器互连的智慧城市应用中的性能。表3总结了所收集工作中的传感器基础结构、GNN模型和学习目标。尽管GNN在不同的研究任务和领域中有很多实现，但物联网传感器互连的GNN建模可以概括为如图6所示的框架。面向物联网传感器互联的GNN建模包括三个部分:1)物联网传感器，2)ISI图建模，3)ISI图神经网络。

参考文献：

[1] [n.d.]. https://waterdata.usgs.gov/nwis

[2] [n.d.]. http://www.waterqualitydata.us/

[3] [n.d.]. ECML/PKDD 15: Taxi trajectory prediction (i). https://www.kaggle.com/c/pkdd-15-predict-taxi-service-trajectory-i

[4] [n.d.]. Historical data of air quality in China: Historical data of meteorology in China: Historical data of air quality in Beijing. https://beijingair.sinaapp.com/

专知便捷查看