从消费互联网爆发,到产业互联网崛起,全球数据量呈现暴增态势。《多样性算力技术愿景白皮书》指出,行业应用的多样性带来数据和算力的多样性,没有一种计算架构可以高效满足所有业务诉求。计算密集型应 用需要计算平台执行逻辑复杂的调度任务,而数据密集型应用则需要高效率地完成海量数据并发 处理,这使得单一计算平台难以适应业务要求,计算多样性成为必然。
在多样性计算的构建中,存在着一些不太明了的问题,例如,为什么多样性计算需要共建?企业加入开源社区是共建的好途径吗?加入开源社区如何决策?未来,多样性计算会有怎样的发展趋势……
4 月 15 日,openEuler Developer Day 2022 大会上,欧拉开源社区副理事长武延军、华为基础软件生态专家邱磊、Intel 开源技术中心总监杨继国、北京开源芯片研究院副院长唐丹、超聚变操作系统产品总监谢留华、以及新华三集团操作系统开发部部长焦旭坡,围绕主题《如何构建多样性计算架构的 OS》进行探讨,共同解答多样性计算共建中企业和开发者面临的这些困惑。
据公开资料显示,2004 年全球数据总量近 30EB,到 2020 年,该数字达到 35000EB,相当于每 18 个月翻一倍。万物互联的智能时代呈几何式增长的数据,对算力需求的增速已经远超摩尔定律。人类面临着空前的数据量和计算压力,对算力需求也变得更加多样化。
以往,依靠芯片工艺来提升算力的方式,已经无法满足多样性计算的需求。当前,更需要计算体系的架构创新,来缩短算力发展与技术发展之间的距离,如通用计算走向通用计算加异构计算的架构创新;从硬件到基础软件,再到应用使能的全栈协同创新。在探索贴近行业的全场景协同、安全可信方面持续创新的方向上,目前,在基础软件行业内存在的一个共识是:单打独斗满足不了日益增长的算力需求,多样性计算的整合,只有依赖用户、厂商、开发者与社区的多方共建。
以 openEuler 社区为例,自 2019 年 12 月 31 日 openEuler 操作系统开源并成立开源社区以来,目前社区中已经汇聚了包括芯片厂商、整机厂商、操作系统厂商、应用软件厂商等在内的 330 家企业,如芯片厂商华为 Intel、北京开源芯片研究院等;整机厂商超聚变、新华三等,共同参与 openEuler 社区的建设。可以说,任何一方的参与,都会直接提升 openEuler 在该垂直方向的迭代速度,让操作系统对 x86、Arm、RISC-V 等不同硬件架构的支持迅速变得丰满,这是以往“单打独斗”的企业所无法想象的。
参与 openEuler 社区共建的企业,也对共建多样性计算达成了高度共识。
其中,Intel 开源技术中心总监杨继国谈到:“在万物智能、万物智联的时代,每分每秒都有海量数据产生,对于算力的需求是空前的。这些需求不仅体现在算力的总量上,还体现在从云到边缘到端各种计算场景中。这就要求计算体系的架构更加灵活,支持不同场景的多云计算,像传统模式一样,简单地改变某一个部件,已经很难满足用户的多场景计算需求了。”
“‘多样性计算’对优化硬件满足数据的千变万化提出了高要求,硬件需要持续创新和变革,满足业务场景的诉求。”超聚变操作系统产品总监谢留华强调。无论现在还是未来,单一计算平台都难以适应千变万化的业务要求了,协同共建将是最优解。
作为软硬件结合的中枢,在共建算力基础设施的过程中,操作系统的开源开放对合作方来说举足轻重 —— 一方面,支持多元算力的操作系统能够让合作方在统一的操作系统中进行开发;另一方面,在开源开放的操作系统生态中,技术突破和应用创新更容易发生。近几年,国内操作系统的开源开发和对生态社区的建设,让合作方有了更多的选择。
那么,合作方到底该如何选择并决定加入一个开源社区?目前看来,开源社区的运作机制、规模、创新力和影响力等相关因素,是合作方的重要考察标准。
同样以业内热议的操作系统开源社区 openEuler 为例,openEuler Developer Day 2022 会上公布的数据显示,自 2021 年 11 月 9 日,欧拉项目被捐赠给开放原子开源基金会以来,openEuler 社区中已有贡献者近万人,建立了近百个 SIG 工作组。
这样庞大、开放、透明的生态规模,成为了 Intel 加入 openEuler 的重要原因之一。Intel 投入开源超过 20 年,是很多开源社区、开源项目、开源软件的重要支持者,双方在开源、生态侧的理念趋近统一。Intel 开源技术中心的总监杨继国表示,openEuler 在国际上的影响力正逐步扩大,社区中有很多 Intel 的合作伙伴和用户,能够帮助 Intel 的合作伙伴们充分利用其平台和优势,帮助用户得到更优的算力;openEuler 公正、开放、透明的原则也是走向国际社区非常重要的因素。
在此基础上,操作系统自身的发展,也是合作方关注的内容。“RISC-V 指令集是新兴的,快速发展的指令集,openEuler 是世界上发展最快的操作系统之一,双方的合作是珠联璧合的。”北京开源芯片研究院副院长唐丹补充道。
在加入开源社区后,不同合作方共建多样性计算的思路也不尽相同:芯片厂商关注用户多场景需求,整机厂商则关注硬件上的技术创新和突破。
华为此前表示,在共建中,技术和生态都是很重要的因素:华为将持续参与 Linux Kernel 的贡献,持续贡献上游社区,为 ARM 构建强大的技术生态。生态方面要结合实际应用场景进行技术创新与性能调优,将多样性计算架构的兼容性做好,再落地到行业的应用中。
面对多种多样的场景,整机厂商超聚变则希望在硬件上取得更多的突破,满足计算业务场景中增加的算力需求;Intel 期待软件与硬件结合起来,形成协同的合力,给用户提供不同场景下合适的解决方案。
我们可以看到,在厂商和社区的连接中,更容易形成合力突破技术和行业困局。未来多样性计算会如何发展,近几年行业中也有一些共识,总的来说包含全场景、软硬件结合、数据安全等方向。同时,在“双碳”和“东数西算”政策下,低碳环保对多样性计算的建设提出了要求。
针对本次大会的圆桌讨论,我们也梳理了一下大家对多样性计算未来发展趋势的观点:
第一,多样性计算将持续满足用户在不同场景下的计算需求。正如前文所述,数字时代带来庞大数据量以及多样的数据处理和计算需求,需要其支持在不同场景下的运算。因此,满足不同场景下的计算需求不仅是现在,而且是未来很长一段时间里,多样性计算发展的目标。
第二,软硬件结合形成协同合力,为用户提供解决方案。具备软硬件协同能力,不仅可以助力算力、生产效率提升,也能为用户提供更好的体验。以近几年热门的指令集 RISC-V 为例,北京开源芯片研究院副院长唐丹正在关注,如何让用户一次就能获得开源芯片和开源操作系统结合的解决方案。Intel 开源技术中心的总监杨继国谈到,通过软硬件的协同优化为用户提供更自由的解决方案是 Intel 未来很大的工作目标。
第三,保障用户的数据安全。如今,数据安全和隐私已经被提升到了战略高度,同时也是用户与企业共同关注的问题。新华三集团操作系统开发部部长焦旭坡也对社区提出了期待:“用户对数据的安全越来越看中,希望隐私计算能成为 openEuler 下一代规划的重点。”
第四,在保证算力的同时,兼顾绿色低碳的环保要求。数据处理背后,能源消耗的问题不容忽视,如今,互联网企业也需要考虑节能减排的问题,在保证效率的同时控制碳排放。超聚变操作系统产品总监谢留华谈道:“实现双碳目标,也是我们(厂商与社区)未来面临的比较关键的挑战”。
在多样性算力“百花齐放”发展的同时,社区也承担着创新和引导的责任。新华三集团操作系统开发部部长焦旭坡对社区提出了三点期待:第一,由于内核的版本升级很快,给整机厂商和客户带来了相当大的挑战,因此希望社区,能将合作伙伴聚集起来,将内核稳定到 5.10 的版本;第二,操作系统的使用过程中,免不了遇到各种问题,希望将可维护性加入规划中;第三,大数据时代,数据的安全和隐私性越来越重要,期待社区与合作伙伴共建安全的多样性算力。
数字经济时代,数据成为重要的生产要素,行业应用的多样性给数据处理和算力支撑提出了新的挑战。如今,单一的计算架构和平台无法满足多变的业务需求和计算场景,“共建”已成为构建多样性算力的必经之路,我们可以看到厂商和社区肩负技术创新责任的同时,也将实现双碳目标作为必须承担的社会责任。行稳致远,我们期待多样性计算给我们带来更多惊喜。
点击下方视频,直击圆桌现场
点个在看少个 bug 👇