面向云端融合的分布式计算技术研究进展与趋势
1 引言
伴随着互联网规模的不断扩大和大数据的兴起，云计算[1]技术快速发展，为互联网用户提供了可随时随地随需访问的共享化资源池，具备快速接入、灵活部署等特点，在教育、社交、存储、电子商务等方面得到广泛使用，深刻改变了人们日常工作方式和IT运维模式。例如软件即服务（SaaS）被微软、Salesforce等软件服务提供商广泛采用，以租赁的形式为消费者提供应用程序的服务。与此同时，基于云计算的分布式可拓展基础设施与数据处理框架日趋成熟，如通用分布式计算框架MapReduce模型[2]、分布式文件系统Hadoop [3]、新型分布式系统Apache Spark内存计算框架[4]等，被广泛应用到亚马逊、阿里、华为、Facebook等知名IT企业，对应用程序的开发与运行方式产生巨大影响，使得基于云计算的大规模分布式处理与海量数据存储易于编程实现。
然而，近年来随着移动互联网和物联网应用的蓬勃发展，智能终端设备不断泛在普及，感知能力不断增强，感知数据规模呈现爆炸式增长趋势。据思科的云指数预测[5]，到2021年，全球范围将有超过500亿的终端设备，每年产生的数据将达到847ZB，其中约10%的数据需要通过计算处理。相比而言，全球数据中心的存储能力预计仅能达到2.6ZB，而网络流量为19.5ZB。现有云计算采用“中心交付”服务模式，即所有数据均交由云计算中心处理。因此，云端之间通信、计算、存储资源供需的巨大差距使得云计算中心负载正逐渐达到瓶颈，严重影响云服务质量，如云端往返时延，网络拥塞等问题，使得云计算面临“传不畅、算不动、存不下”的挑战，难以满足终端环境爆炸式增长的数据处理需求。
实际上，终端设备飞速增长也为终端环境聚集了大量可用资源。如图1所示，根据摩根斯坦利的预测，互联网终端、移动互联网终端、以及可穿戴设备等终端设备预计在2020年将达到200～500亿。而根据贝尔定律，每十年将产生新一代计算机，其计算及存储能力呈现倍数级增长。因此，终端设备的广泛部署在提升数据感知能力的同时，也使终端环境的资源能力大规模增长。从这个角度来看，相对于云计算提供了以软硬件资源管理和服务化为核心的集中化计算环境，终端设备则形成了以互联网及其延伸网络为基础的泛在化计算环境。因此，通过利用终端设备自有资源可有效缓解云计算中心的负载。为此，业界提出了基于云端融合理念，试图通过融合以云计算为核心的集中化资源及以终端设备为核心的泛在化资源，为支持超大规模数据处理提供分布式计算支撑平台。
图1. 终端设备规模发展趋势
为了缓解云计算中心处理压力、消除计算与通信瓶颈、提升系统服务质量，学术界和工业界基于“将计算交付到数据感知源、就近提供智能服务”的思想，从不同角度对云端融合相关技术开展了研究，先后提出了边缘计算（Edge Computing）[6]、移动边缘计算(MobileEdge Computing)[7]、雾计算(Fog Computing)[8]、分散计算(Dispersed Computing)[9]等分布式计算范型及微数据中心(MicroData Center)[10]、朵云（Cloudlet）[11]等具体实现架构。从技术角度，云端融合的核心思想是计算/数据在云端资源体系下的协同迁移，即根据云端资源状态，建立有效的任务/数据动态迁移和资源协同机制，在保证用户QoS需求的基础上实现“就近”服务，平滑系统负载。实际上，“计算/数据迁移”并不是云端融合面临的新挑战。研究者在自组织无线网络中的任务迁移和云平台中的虚拟机迁移等领域曾展开深入的研究。但云端融合场景中呈现出边缘设备数量庞大化、设备类型异构化、网络拓扑动态化、数据海量增长化、应用多样化等特征，迁移环境更为开放、松散、动态、复杂，云端融合环境中的计算/数据协同迁移更具挑战，面临以下三个基本问题：
1）迁移谁？是计算迁移还是数据迁移，或是计算和数据同时迁移？需要根据云端环境的可用资源能力做动态决策；
2）迁哪里？由于云计算中心和终端设备资源的差异性及动态性，需要根据系统可用资源状态做动态调度；
3）如何迁？由于云端软件环境不同，需要提供软件使能支持，支撑计算/数据的自适应迁移。
围绕上述问题，业界从多个层面展开深入了研究。为更好地理解面向云端融合的分布式计算支撑技术相关工作，本报告将分析面向云端融合的体系设计、基础理论、软件架构等方面的研究进展，从体系架构模型、资源优化技术、网络互联机制、资源管理与调度、软件架构设计等角度分析国内外相关研究热点和关键技术挑战，并对未来发展趋势和前景进行展望，以期能为我国的云端融合相关领域的研究提供参考。
2 国内研究进展
当前，云计算、物联网、大数据已成为我国信息产业发展的战略需求。其中云计算已成为国家新兴产业发展的基础支撑，国务院在《“十三五”国家战略性新兴产业发展规划》提出要推进基于云计算的信息服务公共平台建设，在《“十三五”国家科技创新规划》中明确将“云端融合”列为新一代信息发展技术。为支持云端融合技术研究，国家高技术研究发展计划“云计算关键技术与系统（三期）”、国家重点研发计划“云计算和大数据”重点专项、国家自然科学基金重点项目资助领域中纷纷设置云端融合主题资助领域，推动对云端融合开展前瞻性研究。
北京大学黄罡等人在国家高技术研究发展计划（863计划）资助下，对云端和终端资源自适应协同与调度平台开展研究，试图构建应用软件按需消费云端和终端资源的自适应软件体系结构、应用代码及其执行在云端和终端之间的动态迁移、应用数据在云端和终端的分离访问、存储及一致性保障、云端和终端资源协同管理、遗产应用的自动化重构与混和组装等关键技术，并进一步研制运行支撑平台和工具，可自动重构Java应用。
东南大学的宋爱国等人在国家重点研发计划“云端融合的自然交互设备和工具”的资助下，聚焦基于云计算的多种感知通道信息交互融合问题，研制笔、触控、手势、体态、语音、生理等自然交互设备和中间件，建立用户意图理解云计算框架，制定远程交互、桌面交互和多移动设备间跨设备的自然交互解决方案和用户界面规范，开发云端融合的人机交互套件，并在教育、办公、医疗等领域进行应用示范。该项目中拟研发的触摸屏技术将提供一种与虚拟环境交互的新方法，通过对在触摸屏上的力触觉交互，研制一种能够同时向用户传达力信息和触觉信息的力触觉设备，以增强交互的真实感和沉浸感。与此同时，该项目从人的生理感知机制出发，基于有源和无源执行器研制一种具有便携、小型化和功耗低特点的笔式力触觉接口装置，实现对图像信息的多模式力触觉再现。同时还将建立一种综合反映表面形状、柔软性和纹理等物理特性的力触觉模型及实时再现算法。在人机交互过程中，力触觉笔能够将图像中虚拟物体的形状、纹理、柔软度等力触觉特征实时的用力反馈和振动触觉反馈来表达，可实现人与虚拟物体的动态交互和人对虚拟环境的主动探索。研究成果有望提高人机交互的真实感，并拓宽移动设备的应用范围和受众人群，对于视障患者来说，力触觉反馈为他们与移动设备的交互提供一条重要途径。
东南大学罗军舟等人承担的“云计算和大数据”重点专项“面向工业互联网的智能云端协作关键技术及系统”，该项目重点研究面向工业互联网的智能云端协作关键技术及系统，将推进智能云端协作关键技术在大规模工业互联网中的应用，打破制约智能制造发展的人才瓶颈和技术壁垒。通过项目实施，实现新兴信息通信技术在工业全要素、全领域、全产业链的深度融合与集成应用。
在研究思路上，国内云端融合技术研究主要聚焦于以下几个方面：
1）利用云平台丰富的软硬件资源，解决终端设备计算、存储、显示等资源多样异构且相对有限的问题，研究移动终端软件自适应、虚拟桌面异构终端接入与管理、终端服务与云服务混合组装、遗产分布式系统自动迁移等关键技术；
2）针对移动互联网应用形态与软件，研究移动终端计算任务在云平台和终端之间的按需迁移、应用数据的云—端按需访问和存储、应用界面的移动终端屏幕尺寸自适应等关键技术；
3）针对多样异构的终端设备，研究终端自适应的虚拟个人工作台配置、普适接入、弹性传输、状态管理、数据管理、资源管理、安全可信保障等关键技术，研制大规模、高并发、可伸缩、易部署的虚拟个人工作台环境的支撑平台与系统；
4）针对移动互联网和云计算的有机融合，研究移动终端本地资源和应用服务化、云服务终端接入与展现、本地服务和云服务的个性化推荐、本地服务和云服务的混合组装和运行。
国内围绕云端融合环境中的分布式计算范型及体系架构、资源协同调度、微服务调度等开展了富有成效的工作，并取得积极进展。为了缩小IoT应用的服务质量要求与IoT设备有限的计算资源之间的差距,提高设备与基站能源利用率, 于博文等人[73]设计了基于超密集网络的移动边缘计算框架COMED，提出了一个结合任务卸载、设备-基站关联以及基站睡眠调度的在线优化问题,旨在最小化设备和基站的整体能量消耗,同时满足IoT应用的服务质量要求。郭延超等人[74]考虑手机的能耗问题，在不同的网络状况环境中，根据手机当前电量以及用户刷新频率，通过本地移动边缘计算层完成数据处理,在Markov决策过程生成的决策表中选择最优策略,动态选择最佳的网络接入以及刷新下载最佳的图片格式，不仅减少刷新时间,而且能够降低移动平台的能耗。在面向极端实时性保证的应用时，华中科技大学Niu等人[75]提出一种聚合私有云及公共云的混合网络架构，设计高效的私有云之间任务调度算法以及公共云的容量开销评估调整机制。国立台湾科技大学Jiang等人[76]在分布式移动云计算环境中，设计并实现了基于隐私感知的安全性鉴权模型。香港大学Mao等人[77]针对多样性的网络接入方式提出合适的资源的分配方法。重庆大学的Wang等人[78]针对无线蜂窝网构建了一个联合优化计算迁移、资源分配以及缓存策略的模型，将原始问题转换为凸问题并分解它，以便以分布式和有效的方式解决它。最后，随着分布式凸优化的最新进展，开发了一种基于乘数的交替方向法算法解决优化问题。王子勇等人[79]提出一种基于执行轨迹监测的微服务故障诊断方法，利用动态插桩监测服务组件的请求处理流，对请求处理的执行轨迹进行刻画，评估性能异常程度并采用主成分分析方法分析其中的关键方法调用。北京大学提出了一个基于微服务架构的公共在线编程系统，通过对Docker资源的合理调度管理,使得在线编程系统在部署、调试和运行各类应用时能够更加节省资源和时间[80]。
3 国内外研究进展比较
云端融合是随着互联网、万物互联、大数据、云计算等相关技术与应用的发展而出现的一种新型的分布式计算环境，与边缘计算、移动边缘计算、雾计算等领域关系紧密。以美国为主要代表的学术界，以及美国军方主导的分散计算，和以思科为首的工业界一直引领着相关技术与应用平台的发展。根据上述分析可以看出，无论是在云端融合的平台体系架构、关键理论优化方法，还是资源的协同管理、迁移的协同调度、软件体系架构等方面，国外的研究工作相对更为系统。从云端融合体系架构的设计角度来看，国外已经形成较为完整的基础设施系统架构。研究者们通过多层次的云计算中心架构，充分利用异构、多样性移动终端构成的边缘网络中的丰富资源，在一定程度上解决云端融合的系统扩展性问题，为迁移技术提供基础的设施支撑。而从云端融合资源优化理论角度，针对具体的通用型计算任务，国外已经基本形成了分布式网络环境中计算、存储、网络三维资源的权衡模型。并在此基础上，以服务的QoS需求为驱动，以分布式网络编码为途径，基于资源的理论模型建立资源协同调度机制。而国内在体系架构和资源优化理论方面尚处于起步阶段，研究方法和研究成果相对局限，相关关键技术成果及原型系统架构都明显少于国际学术界。在异构网络接入、资源协同调度以及软件架构层面，国际学术界从网络拓扑管理、传输通信协议、数据隐私保护、多维资源管理、动态协同调度、微服务粒度控制，微服务自适应协同迁移等方面展开研究，并取得了一定的进展。而国内学术界在这些领域的研究工作的广度和覆盖度还有所不足。
尽管在云端融合研究领域国内外的差距相对较大，但近年来国家对于科研和产业的支持力度不断增大，对国际学术界关注的热点问题也在快速跟进。特别的， “十三五”国家战略性新兴产业发展规划提出推进基于云计算的信息服务公共平台建设，以及国务院在“十三五”国家科技创新规划中明确将云端融合列为新一代信息发展技术。进而有一系列与云端融合相关的863项目、重点研发、重点专项项目跟进。在这些科研计划与国家项目的支持下，国内学者组建了高水平的科研团队，围绕面向云端融合的分布式计算环境中的体系结构、理论模型、关键技术和示范平台开展系统的工作。相信未来国内学术界和工业界一定能在该领域取得长足的进展。
4 发展趋势与展望
图3. 云端融合的发展趋势与展望
为了支持云端融合，业界基于“将计算、通信、存储和控制部署在网络边缘，实现数据的就近处理，从而缓解云计算中心负载”理念，从体系架构、资源优化理论、网络接入、资源调度、软件架构支持等方面开展了广泛研究，并取得了一定的进展。并提出了边缘计算、雾计算、分散计算等新型分布式计算范型和技术方案。从图3中可以看出，现有工作大多采用“下行”方式，将计算从云迁移到端，忽略了对云资源的融合与协同。现有研究的主要不足主要包括以下几个方面：
1）在云端融合体系架构方面，现有的工作大多基于边缘计算环境的体系架构，对基于云端融合的服务模式还缺乏深入的探讨，对云端一体化数据处理的体系架构，以及相关的云端混合网络融合、数据及任务的迁移、协同服务等关键技术缺乏系统的研究。
2）在云端融合资源优化方面，现有工作虽然在存储、计算、和通信之间模型的研究上取得一些进展，但一般是针对单一的资源模块考虑或者是考虑理想环境中的模型，与基于边缘计算的云端融合环境不尽相符。在云端融合环境中，需进一步探索面向异构节点的计算、存储、网络内在关系，并针对多样性的任务需求给出资源决策的定量、定性理论支持。
3）在云端融合网络互联机制方面，尽管针对边缘计算环境下的设备互联、传输优化、以及数据隐私保护和安全性等方面的研究取得了一定的进展，并为网络层面之上的资源分配和协同服务调度奠定了一定的协议基础，但海量边缘设备间高度动态的松散式互联特性导致网络拓扑维护极度复杂，边缘设备网络性能受限也为数据的传输优化带来新的挑战，目前还缺乏针对云端融合环境的高效、低成本、易扩展的网络结构。此外，还需继续探索适用于边缘感知数据的传输协议，充分挖掘边缘数据共性的结构特征，以较小的通信负载实现海量边缘数据的高效传输。
4）在云端融合环境中的资源管理与调度方面，现有工作从不同角度讨论了数据中心和边缘网络中的资源管理与调度工作，但缺乏对云端资源融合的深入分析。具体而言，数据中心相关研究虽然讨论了数据中心之间的协作，但没有将资源的协同管理与调度扩展到边缘网络中；而针对边缘计算场景中资源管理、调度的研究则相对处于起步阶段，也没有考虑联合数据中心进行资源管理。同时，云端融合环境的资源一体化管理还缺乏一套完善的理论模型进行指导。
5）在云端融合软件架构设计方面，尽管目前在边缘计算、数据中心和微服务上有各自的一些研究进展，且为云端协作奠定了一些理论基础和实际应用范例，但并没有从根本上形成一个体系，系统化的解决云端融合环境下的服务编排、感知和协作中的诸多问题，还缺乏对全局行为的效率检测。在服务层面还须从体系架构上保证微服务应用的服务质量。
未来针对云端融合的研究需要在 “云+网+端”的双向融合机制上取得突破，建立面向云端双向融合的“模型-理论-方法”技术体系，从而在更广范围内实现资源协同，使得计算效率更快、服务机制更为灵活，进而满足用户多样性应用需求。未来工作可包括以下几个方面。
1）从云端融合体系架构设计角度，建立基于软件定义的云端融合基础设施系统架构模型，屏蔽异构性，突破现有通过“调整或优化基础设施设计”云端融合方法对终端设备资源融合能力不足的问题，支持边缘网络数据、存储、网络体系结构的渐进式扩展，解决云端资源难融问题，为计算/数据动态迁移提供基础设施支撑。
2）从云端融合资源优化理论角度，揭示多维资源动态关联机理，建立基于计算、存储、通信三元融合的云端融合资源优化调度理论，在此基础上，构建将计算逻辑融入通信的任务感知的资源调度机制，解决调度难优问题，为计算/数据动态迁移提供决策依据。
3）从云端融合软件实现方法角度，建立新型云端融合软件架构方法，突破虚拟机技术对终端支撑不足，对终端设备提供可编程支持，实现云端自适应服务协同，解决服务难迁问题，为任务/数据动态迁移提供使能支持。
另外，云端融合的发展离不开重要应用的推动及产业界的支持。近年来，在国内外产业界的努力下，国内外产学研机构围绕云端融合环境开展广泛的合作，涌现出大量的分布式计算应用与产业联盟。Google提出面向云端融合的新型机器学习方法Federated Learning，它使多台智能终端设备能够以协作的形式，学习共享的预测模型，这与传统的机器学习方法相比，大量的训练数据不需要存储在云端。因特尔公司提出的显卡虚拟化技术（GVT），将图形处理单元（GPU）和集成的视频转码加速器引擎全部或部分指定给虚拟机，在远程处理、桌面即服务和在线游戏等领域有广泛的应用前景。为推动云端融合相关技术发展及产业化，美国思科公司联合ARM、戴尔、因特尔、微软和普林斯顿大学等知名企业和高校于2015年联合成立了开放雾计算联盟（OpenFog）。国内中科院、华为、中国信通院等科研院所与英特尔、ARM、软通动力等知名厂商于2016年在北京联合成立边缘计算产业联盟（Edge Computing Consortium, ECC）。2017年，日本NTT和丰田与IT厂商英特尔、爱立信成立了汽车边缘联盟（Automotive Edge Computing Consortium, AECC），致力于开展车辆互联和智能驾驶方面标准化的研究。在产业界投入和国内外科研人员的共同努力之下，我们有理由相信面向云端融合的分布式计算环境的研究有非常美好的发展前景，必将在相关研究方向产生突破性的进展，在经济、科教、民生等多个方面做出突出贡献。
5 结束语
面向云端融合的分布式计算已经成为支撑互联网大数据处理以及边缘应用服务的一种重要计算模式。为了解决传统云计算的“中心交付式服务”模式难以满足爆炸式增长的数据处理需求这一问题，云端融合的核心思想是在包含云中心和边缘网络更广的范围内实现资源协同，通过计算和数据的迁移使得计算效率更快，服务机制更灵活。海量的终端设备以及异构、复杂的边缘网络为科研人员带来压力的同时也带来了新的机遇和更加广阔的发展前景。针对云端融合的技术趋势和研究热点，我们总结、分析、并比较了国内外相关领域的研究现状。我们认为，尽管国际上较早在这一领域开展相关的研究工作，并且在云端融合的平台系统、体系架构、理论技术等方面取得一定的进展，相对于国内占据了一定的领先优势，但是近年来国家非常重视云端融合相关理论、技术、平台的规划和布局，对学术界和工业界的支持力度持续增加。我们相信经过科研人员的不懈努力，国内也将产生突破性和颠覆性的科研成果，将云端融合相关领域的研究推向世界前列。最后，总结了云端融合的发展趋势及面临的问题，并且展望未来主要的发展方向。
致谢
本报告的撰写得到南京大学、河海大学、华中科技大学、上海交通大学和香港理工大学相关研究团队研究人员的大力支持，屈志昊、骆克云、王成等同志等参加了整理工作，在此一并表示感谢。
作者简介
叶保留
南京大学计算机科学与技术系教授、博士生导师，河海大学计算机与信息学院院长。主要研究方向为云计算、边缘计算、无线网络。CCF理事、分布式计算与系统专委会秘书长。
陈贵海
南京大学计算机科学与技术系教授、博士生导师。主要研究方向为云计算、边缘计算、计算机网络。CCF会士、分布式计算与系统专委会主任。
郭 嵩
香港理工大学计算机系全职教授、博士生导师。主要研究方向为云计算、大数据处理、社会网络、无线网络通信、信息物理系统。IEEE高级会员，ACM高级会员。
陈道蓄
南京大学计算机科学与技术系教授、博士生导师。主要研究方向为分布式计算与系统。CCF会士、首届CCF杰出教育奖获得者。
廖小飞
华中科技大学计算机学院教授、博士生导师。主要研究方向为计算机体系结构、系统软件、大数据处理。CCF青工委执行委员，CCF-IEEE CS青年科学家奖获得者。
过敏意
上海交通大学计算机科学与工程系教授、博士生导师。主要研究方向为并行与分布计算，嵌入式与普适计算。CCF会士、常务理事。
中国计算机学会
长按识别二维码关注我们
CCF推荐
【精品文章】
点击“阅读原文”，下载和浏览报告。
相关内容
微信扫码咨询专知VIP会员