物联网智能 - 专知VIP

物联网（IoT）与现代人工智能（AI）的结合催生了一个新的范式，称为物联网的人工智能（AIoT）。在这篇综述中，我们对AIoT的研究进行了系统且全面的回顾。我们探讨了与感知、计算以及网络与通信相关的AIoT文献，这三者构成了AIoT的三大关键组成部分。除了在这些领域的进展外，我们还回顾了为多个重要应用领域设计的特定领域AIoT系统。我们还创建了一个配套的GitHub仓库，汇总了本次综述中提到的论文：https://github.com/AIoT-MLSys-Lab/AIoT-Survey。该仓库将会被持续维护，并随着新的研究成果的出现进行更新。随着物联网和人工智能在社会中的作用日益重要，我们相信AIoT正在成为物联网与现代人工智能交汇处的一个重要研究领域。我们希望这篇综述能成为从事AIoT研究的人员的宝贵资源，并能促进未来的探索，填补空白，推动该领域的进一步发展。

1 引言

物联网（IoT）的普及，如智能手机、可穿戴设备、无人机和智能音箱，以及它们捕获的大量数据，彻底改变了我们的工作、生活和与世界互动的方式。这些设备配备了感知、计算、网络和通信功能，能够收集、分析和传输各种数据，包括图像、视频、音频、文本、无线信号、个人的生理信号以及物理世界的相关数据。近年来，人工智能（AI）尤其是在深度学习（DL）/深度神经网络（DNN）、基础模型和生成式AI方面的进步，推动了AI与IoT的整合，使物联网的人工智能（AIoT）的概念成为现实。IoT与现代AI的协同作用增强了决策能力，改善了人机交互，并促进了更高效的操作，使AIoT成为一个充满活力和前景广阔的领域，具有从根本上改变人们感知和与世界互动的潜力。如图1所示，AIoT的核心建立在三大关键组成部分之上：感知、计算和网络与通信。具体来说，AIoT利用了多种车载传感器，如摄像头、麦克风、运动传感器和生理传感器，从个体和物理世界中收集数据。通过现代AI算法处理收集到的传感器数据，用于分类、定位、异常检测等多种任务。最后，AIoT的网络与通信组件确保传感器数据和/或计算结果能够可靠地传输到云端、边缘或其他附近的AIoT设备。与传统的物联网相比，AIoT的计算组件专注于AI相关的计算任务。此外，AIoT的感知和网络与通信组件也得到了AI的赋能。正是这两个关键区别使得AIoT能够通过现代AI的突破，赋能数十亿的日常设备。除了在三大关键组成部分的进展外，领域特定的AIoT系统也已在众多应用领域提出和开发。例如，在医疗领域，AIoT系统实现了远程患者监测，促进了现场疾病诊断，并以辅助技术的形式帮助残障人士。在增强、虚拟和混合现实领域，AIoT系统实现了3D跟踪，提供沉浸式用户体验。在视频流和分析领域，AIoT系统被开发用于提升视频质量并优化视频处理效率。所有这些领域特定的系统都展示了AIoT在变革各行业中的潜力。本综述的总体目标是提供一个系统且全面的AIoT研究回顾。如图2所示，我们将AIoT文献分为四大类：感知、计算、网络与通信，以及领域特定的AIoT系统。具体来说：

感知：感知是AIoT的基础。在第2节中，我们回顾了AI赋能的感知机制和技术，涵盖与运动感知、无线感知、视觉感知、声学感知、多模态感知、耳部感知以及用于感知的生成式AI相关的研究方向。
计算：计算是AIoT的核心。在第3节中，我们回顾了位于AIoT核心的基本计算任务，涵盖与设备上的推理、任务卸载、设备上的训练、联邦学习以及AIoT的AI代理相关的主题。
网络与通信：网络与通信是AIoT的支柱。在第4节中，我们回顾了与多种网络（包括蜂窝/移动网络、Wi-Fi网络、可见光通信以及LoRa/LoRaWAN）相关的AI赋能的网络与通信技术。
领域特定的AIoT系统：感知、计算和网络与通信的进展为设计应用于特定领域的AIoT系统奠定了基础。在第5节中，我们回顾了这些AIoT系统在重要应用领域中的表现，包括医疗与健康、视频流与分析、自动驾驶，以及增强、虚拟和混合现实。

我们还建立了一个GitHub仓库，用于组织本综述中涉及的论文，地址为：https://github.com/AIoT-MLSys-Lab/AIoT-Survey。我们将积极维护该仓库，并随着新研究的出现及时更新。尽管已经有多篇与AIoT相关的综述【21, 30, 89, 94, 168, 196, 233, 324, 329】，它们主要关注AIoT的某些特定方面。相比之下，本综述提供了AIoT研究的全景视角。更重要的是，我们主要关注基于现代AI技术（如DL、基础模型和生成式AI）构建的感知、计算、网络与通信及领域特定AIoT系统的文献。我们希望本次综述以及GitHub仓库能够为研究人员和从业者提供宝贵资源，帮助他们全面了解AIoT研究，并激励他们为这一重要且激动人心的领域作出贡献。