从背景介绍到未来挑战，一文综述移动和无线网络深度学习研究

2018 年 3 月 19 日 机器之心

选自arXiv

作者：Chaoyun Zhang等

机器之心编译

近来移动通信和 5G 网络等快速发展，它们的调控与配置因为充满了多样性和动态变化而面临非常多的挑战。因此近来很多研究科学家开始利用机器学习及深度学习加强移动和无线网络的配置，并帮助应对数据量和算法驱动的应用程序的增长。本论文基本是首篇综述深度学习及无线网络交叉学科研究面貌的调研，读者可以阅读原论文全面了解该新兴交叉学科。

互联网连接的移动设备正在渗透生活、工作和娱乐的各个方面。智能手机数量不断增加以及不断增多的应用程序引发了移动数据流量的激增。事实上，最新行业预测显示，到 2021 年，全球 IP 年流量将达到 3.3 泽字节 ( 1015 兆字节)，同年，智能手机流量将超过 PC 流量 [1]。由于用户偏好转向无线连接，当前移动基础设施面临着巨大的容量需求。针对这一日益增长的需求，有人建议采用灵活的资源供给方式 [ 2 ]，分布式解决移动管理问题 [ 3 ]。然而，长远来看，互联网服务提供商 ( ISP ) 必须开发智能异构架构和工具，以催生第五代移动系统 ( 5G )，并逐步满足终端用户的迫切需求 [4], [5]。

移动网络架构日益多样化且复杂性不断提高，监控和管理众多网络元素的问题因而变得棘手。因此，广大研究人员对多功能机器智能嵌入未来移动网络这一课题的兴趣空前高涨 [6]，[7]。这种趋势反映在机器学习（ML）解决方案中，从无线接入技术（RAT）选择 [8] 到恶意软件检测 [9]，以及支持机器学习实践的网络系统的开发（例如 [10 ]，[11]）。机器学习能够从流量数据中系统地挖掘有价值的信息，并自动发现其相关性，这类问题对于人类专家来说太过复杂 [12]。作为机器学习的重要部分，深度学习在计算机视觉 [13] 和自然语言处理（NLP）[14] 等领域取得了卓越的进展。网络研究人员也开始认识到深度学习的重要性，并探索如何将深度学习应用到移动网络领域 [15], [16]。

我们有充分理由在在 5G 移动和无线网络中嵌入深度学习，尤其在处理移动环境产生的异构数据。因为这些数据通常来源广泛，格式各异，并且表现出复杂的相关性 [17]。传统的机器学习工具需要繁琐的特征工程才能根据这些数据做出准确的推论和决策。深度学习消除了领域专业知识的门槛，因为它采用分层特征提取，该技术可以有效地提取信息并从数据中获取越来越抽象的相关性，同时最大限度地减少数据预处理工作量。基于图形处理单元（GPU）的并行计算进一步使深度学习能够在毫秒内进行推理。这有利于分析网络，提高管理准确度并克服传统数学技术（例如凸优化、博弈论、元启发式）的运行时间限制。

尽管移动网络领域的深度学习炙手可热，但现有的成果分散在不同的研究领域，缺乏全面而简明的研究。本文通过介绍这两个领域交叉研究的最新调查，填补了深度学习与移动、无线网络之间的鸿沟。除了回顾相关度最高的文献之外，本文还讨论了各种深度学习架构的优缺点，并提出深度学习模型的选择策略，以解决移动网络问题。此外，本文还进一步研究了针对个人移动网络任务量身定制深度学习的方法，以在复杂环境下实现最佳性能的方法。最后，本文指出未来值得深入研究的方向和尚未解决的重要问题，而最终目标是为用深度学习来解决各领域问题的网络研究人员和从业人员提供明确的指导。

本文结构：如图 1 所示，本文采用自上而下的方式组织文章。首先，本文将讨论围绕深度学习、未来移动网络和使用深度学习构建的网络应用程序进行的高层次概述工作，这些工作有助于定义本文的范围和贡献 (第 2 节)。鉴于深度学习技术是移动网络社区中的新课题，第 3 节给出了深度学习的基本背景，突出了解决移动网络问题的直接优势。许多因素能够促进移动网络应用领域的深度学习实现 (包括专用的深度学习库、优化算法等)。第 4 节讨论了这些促进因素，帮助移动网络研究人员和工程师选择合适的深入学习软硬件平台。

图 1：本文图解示意图

第 5 节介绍和比较了最先进的深度学习模型，并提供了网络问题解决方案。第 6 节回顾了近期深度学习领域中移动和无线网络应用，本文将这些应用分为不同的场景，从移动流量分析到安全以及新兴应用。第 7 节讨论了如何针对移动网络问题定制深度学习模型，并强调网络研究中，深度学习应用相关的开放性问题（第 8 节）。本文结尾部分简要讨论移动网络和深度神经网络之间的相互作用（第 9 节）。

论文：Deep Learning in Mobile and Wireless Networking: A Survey

论文地址：https://arxiv.org/abs/1803.04311

摘要：移动设备以及移动应用和服务的日益普及对移动和无线网络基础设施的需求达到前所未有的高度。即将推出的 5G 系统正在发展，以应对移动通信量的爆炸式增长，并灵活管理网络资源，从而最大限度地提高用户体验及细粒度抽取实时分析的能力。该任务颇具挑战性，因为移动环境日趋复杂、多样化并不断发展变化。一个潜在的解决方案是采用先进的机器学习技术来帮助应对数据量和算法驱动的应用程序的增长。深度学习的最新成果是有效解决这一问题的基础。

本文通过对深度学习与移动、无线网络研究的交叉领域开展综合性研究，填补了二者之间的鸿沟。首先，本文简要介绍了深度学习技术的基本背景和最新进展，以及在网络方面的潜在应用。然后讨论了几种有助于在移动系统上高效部署深度学习的技术和平台。随后，本文对基于深度学习的移动和无线网络研究进行了百科全书式的回顾，并按不同领域进行了分类。此外，本文还基于自己的经验讨论了如何根据移动环境定制深度学习。最后明确了当前的挑战和未来的研究方向。

近来深度学习有很多先进的综述性调查或研究，它们都令深度学习尤其是移动端网络架构在终端设备上有很大的提升。一般来说，深度学习的这些进步主要体现在先进的并行计算、分布式机器学习系统、便捷的深度学习框架和高效的最优化方法等。我们在下表 3 展示了这些进步，并在论文中详细讨论它们。

表 2：与深度学习和移动网络相关的现有调研、学术论文和专著汇总。符号 D 表示该出版物所处的研究领域，✗标记不直接覆盖该领域的文章，但读者可以从中检索一些相关的见解，与深度学习和移动网络相关的出版物都使用阴影表示。

3. 深度学习基础

我们首先将简述深度学习，并重点介绍该领域的核心原则以及成功的关键优势。深度学习实际上是机器学习的一个分支，它通过多层非线性处理单元从原始数据中分层抽取特征与知识，因而能针对一些目标执行高效的预测或决策。相比传统机器学习，深度学习的主要优势是在于自动抽取特征，因而避免了昂贵的人工特征预处理过程。此外，我们在下图 2 中展示了深度学习、机器学习以及人工智能之间的关系。

图 2：深度学习、机器学习和 AI 之间关系的维恩图。本调研重点关注移动和无线网络中的深度学习应用。

对于一般的深度学习来说，它们可以抽象为一系列相互嵌套的复合函数，且这种复合函数在直观上可以表示为一系列叠加的层级。如下展示了一般深度神经网络架构的训练和推断过程，其中正向传播即神经网络的推断过程。因为它们可以抽象为一个复合函数，那么根据复合函数的链式求导法则，我们可以轻松地使用反向传播和最优化方法训练神经网络。

图 3：4 层卷积网络的学习和推断过程，其中 w(·) 代表每一个隐藏层的权重、σ(·) 代表激活函数、λ 为学习率、∗(·) 表示了卷积运算，而 L(w) 为需要优化的损失函数。

4. 深度学习在移动网络中的应用

5G 系统是试图提升信息吞吐量并获得低延迟通信服务的协议，它们能很大程度上提升用户的 QoE [4]。但在 5G 系统上构建深度学习智能系统是非常复杂和昂贵的。幸运的是，目前一些进步令深度学习在移动端的应用变成了可能：（i）高级并行计算，（ii）分布式机器学习系统，（iii）优秀的深度学习框架，（iv）快速优化算法和（v）雾计算（fog computing）。我们在下表 3 中总结了这些优势。

表 3：在移动系统中嵌入深度学习的工具和技术汇总

因为并行计算和分布式系统的进步，目前深度学习出现了很多适用于移动端的框架和平台，它们都寻求在移动端上精简和优化深度模型。我们在表 4 中对比了这些平台。

表 4：深度学习移动平台对比

5. 深度学习：顶尖性能

若我们重新回顾图 2，机器学习方法可以很自然地分为监督学习、无监督学习和强化学习，而深度学习在这些领域中都实现了当前最顶尖的性能。在这一章节中，我们将介绍深度学习的关键原则，并讨论它们在解决移动网络问题上的潜力。下图 4 和表 5 都展示了当前基本的深度神经网络架构。

图 4：MLP、RBM、AE、CNN、RNN、GAN 和 DRL 的基本结构和操作原理。

如上所示为基本的深度网络架构，当然最基础的是有感知机发展而来的多层感知机或全连接网络，该网络前后两层的所有神经元都相互有连接。而后卷积神经网络和循环神经网络都基于一些先验特征而只有局部连接，这样不仅减少了权重数量，同时还加强了模型的性能。

以下展示了各神经网络架构的属性、优势和应用于移动网络的潜力等：

表 5：不同深度学习架构汇总。阴影部分是 GAN 和 DRL，因为它们是建立在其他模型之上的。

6. 深度学习驱动的移动和无线网络

深度学习在移动网络领域应用广泛。本文在不同的网络管区中组织和分类深度学习应用，并描述其贡献。接下来，本文将介绍所有领域的重要出版物，并对比其设计和原则。

无线传感器网络（WSN）由一组分布在不同地理区域的独特或异构传感器组成。它们通过无线通道协同监测物理或环境状态（如温度、压力、运动和污染），并将已收集数据传输到中心服务器。

图 5：蜂窝、WiFi 和无线传感器网络中的移动数据收集过程示意图。BSC：基站控制器；RNC：无线电网络控制器。

不同无线网络中收集的数据是不一样的，如下展示了由不同基础设施收集的不同数据及及其类型。

表 6：移动大数据的分类。

后面表 7、图 6 和表 8 展示了上述不同数据类型的应用、部署与研究工作等。

表 7：网络级移动数据分析工作总结。

图 6：应用级移动数据分析的两种部署方法示意图，即基于云（左）的方法和基于边缘（右）的方法。基于云的方法在云端推断并将结果发送给边缘设备。相反，基于边缘的方法则是在边缘设备上部署可进行本地推理的模型。

表 8：应用级移动数据分析工作的总结。

表 9：深度学习驱动的移动分析和室内定位的研究工作总结。

表 10：深度学习驱动的 WSNs 研究工作总结。

无线网络其实还能使用强化学习和模仿学习等先进的技术控制移动网络：

图 7：应用于移动和无线网络管控的三种管控方法的原理，即强化学习（上）、模仿学习（中）和分析管控（下）。

表 11：深度学习驱动的网络管控研究工作总结。

表 12：深度学习驱动的网络安全研究工作总结。

7. 把深度学习适用于移动网络

尽管深度学习在诸多移动网络领域表现不凡，但免费午餐定理（NFL）表明，一个模型不可能一劳永逸地解决所有问题 [356]。这意味着对于任何特定的移动和无线网络问题，我们可能需要采用不同的深度学习架构以取得更好表现。本节将重点讨论如何从三个角度为移动网络应用定制深度学习，即移动设备和系统、分布式数据中心以及不断变化的移动网络环境。

表 13：深度学习驱动的新兴移动网络应用总结。

表 14：移动设备和系统的深度学习研究工作总结。

图 8：模型并行（左）和训练并行（右）的基本原理。

图 9：深度终身学习（左）和深度迁移学习（右）的基本原理。终身学习保留已学的知识，而迁移学习利用源领域标记数据改善没有知识保留的目标领域学习。

8. 未来研究展望

尽管深度学习在移动网络领域取得的成果日益显著，但仍有若干个关键的开放性研究问题存在，值得去关注。接下来，本文将讨论这些挑战并界定这些可通过深度学习解决的重要移动网络问题，进而为未来的移动网络研究提供见解。

图 10：意大利米兰 3D 移动流量表面（左）和 2D 投影（右）的实例。图像 [163] 通过 [402] 中的数据绘制而成。

图 11：移动流量数据（左）和其他数据（右）之间的类比。

9. 结论

深度学习在移动和无线网络领域扮演着日益重要的角色。本文给出了一份有关这两个不同领域之间交叉点的最新的全面工作调查，并总结了各种深度学习模型的基本概念和高级原理，然后通过回顾不同应用场景下的工作来关联深度学习和移动网络学科。本文还讨论了如何针对一般移动网络应用定制深度学习模型，这是以前调查完全忽视的一个方面。最后，本文得出了可能会带来有价值的未来研究结果的若干个开放的研究问题和有希望的方向，并希望这篇文章能成为研究人员和从业人员将机器智能应用于移动网络环境中复杂问题的有趣而明确的指南。