汇集音视频技术挑战的应对之道，这份白皮书已上线 | Q推荐

近年来，直播行业获得高速发展。数据表明，截至 2021 年底，我国网络直播用户规模已达 7.03 亿。以电商为例，直播已成为电商运营的“标配”且用户量可观。据益普索发布的《2021 直播电商趋势报告》表明，2021 年直播电商用户平均年消费超过 2500 元，平均增长为 12%。除了直播行业，短视频、AR/VR、 电竞和视频会议等音视频应用也步入快速发展阶段。

一方面，音视频技术的发展和 5G 商用奠定了坚实的技术基础；另一方面，近两年新冠疫情的出现和发展，让原有的生活工作场景线上化，远程办公、线上教育和线上娱乐等业态蓬勃发展。

在上述双重因素影响下，音视频市场进入爆发式增长阶段。以 WebRTC 为例，其相关的技术与服务，包括视频会议、语音会议、音视频服务等在未来数年中将以 43.6% 的复合年均增长率高速发展。

从抖音、快手、微信短视频到娱乐直播、教育直播、音视频会议，音视频几乎无处不在。可以预见，音视频技术未来将作为一种基础技术应用到更广泛的场景中，比如与 AI 结合，帮助老师提高教学质量；与物联网结合，用在自动驾驶；与元宇宙结合，塑造逼真虚拟世界。

应用侧的“百花齐放”离不开音视频技术与能力的成熟。以前，因网络带宽限制和音视频技术本身的一些原因，音视频技术无法被广泛地应用。随着音视频技术不断发展，一方面，视频压缩技术从 H261、H264 到 H265 再到 AV1，视频压缩率越来越高；音频压缩技术从 G.711、G.722 等窄带音频压缩技术，发展到现代的 AAC、OPUS 等宽带音频压缩技术。另一方面，移动网络不断发展，从 3G 到 4G，再到落地中的 5G，移动网络的带宽和质量越来越高，这又为音视频数据传输打下了坚实基础。

技术的成熟促使应用的繁荣，而应用的发展又给音视频技术与能力带来全新挑战，比如高清技术发展带来的视频编解码和转码压力、云化解决方案带来的算力分布式部署难题、不断"扩容”的市场规模带来的数据处理风暴和各类智能应用融合带来的 Al 加速等纷繁复杂的需求。

以云游戏为例。相比传统游戏形式，云游戏有免安装、硬件配置要求低、随开随玩等优势，成为近年来各大厂商追逐的风口。预测数据指出，2022 年中国云游戏市场收入将增至 79.2 亿元，同比增长高达 95.1%。虽然这个市场高速发展，但是也对云游戏平台提出更多挑战：高品质的游戏体验需求、高并发用户接入压力和大规模平台部署成本。

与传统游戏后台系统相比，云游戏平台场景的变化以及所需的技术：

（图源 《英特尔互联网行业音视频创新实践》）

我们对云游戏平台技术进行拆解，常规云游戏技术架构中，所有服务都在云端、公共网络上完成，游戏玩家终端主要负责对网络包进行处理、对渲染后的游戏画面进行解码、显示。

如上图，架构图中间部分尤为关键，即云游戏容器集群。其设计基础目标是保障 1s 至少完成 24 帧的计算、动态渲染和编码传输，部分高要求场景需要帧率达到 60 FPS，同时保证时延尽可能得低。这部分技术挑战非常之大，若仅以软件为中心思考，很难做出真正突破。从发展视角看，仅仅 4 年前，移动端游戏本地渲染的基础目标还是 30 FPS，如今虽然能实现 60 FPS 甚至更高，但讨论的场景也从本地渲染切换成了云端渲染。在软件上，除非出现学术层面的突破，否则很难保证性能始终保持这样跨度的飞跃。此外，渲染本来就是严重倚仗硬件的工作，渲染速度和质量的提升，主要依赖于 GPU 工艺、性能以及配套软件的提升。

而更为复杂的游戏性能以及整体时延的控制，则对整个处理、传输链路提出要求。对架构设计而言，除了高性能、高可用、可扩展性三类设计目标外，成本也是必须要考虑的平衡点——百台服务器的架构，与千台服务器的架构，差别巨大。2010 年前后，云游戏在 C 端商业化停滞的主要原因是成本，而如今，硬件性能提升后，单台服务器可支持 20-50 路并发，性能提升几十倍。

如果我们以硬件为核心，融合软件去设计云游戏技术架构，又会变成什么样。大致如下图所示（为了不让图示过于复杂，我们只保留了云游戏核心服务链路，以作代表）。

如上图，仅在云服务器部分，就有大量的硬件和配套软件需要参与进来，要关注的性能点也相对复杂。而这仅仅是云游戏一个应用场景下的音视频架构，当我们将场景抽象并扩展，最终覆盖到整个超视频时代的时候，以下这张来自英特尔技术团队的架构图，可能更加符合实际。英特尔将音视频体系架构在软件和硬件层面分别进行了展示：一部分叫做 Infrastructure（基础设施层），如图一所示；另一部分则称其为 Infrastructure Readiness  （基础设施就绪），指的是基础设施就绪后，建立在其上的工作负载，如图二所示。两张图的首尾有一定重合，表示其头尾相接。

图：基础设施层

基础设施就绪后的工作负载

在基础设施层，我们的首要关注对象就是硬件，尤其是对于音视频服务来说，硬件提升对业务带来的增益相当直接。

在《英特尔互联网行业音视频创新实践》白皮书中，我们了解到 OPPO 如何基于英特尔服务器 GPU、英特尔至强可扩展处理器以及英特尔 Android Cloud Gaming Software Stack（ACGSS）软件栈构建的 OPPO 云游戏平台。

在核心基础设施上，OPPO 云游戏平台使用配备英特尔服务器 GPU、第二代英特尔至强可扩展处理器以及针对英特尔架构优化的英特尔云游戏参考软件，建立了强大的云数据中心服务器集群，打造庞大、弹性的游戏容器池，从而在云端完成游戏的渲染、编码，并通过容器云的方式交付不同的安卓游戏实例。

基于英特尔服务器 GPU 的云游戏平台架构
（图源《英特尔互联网行业音视频创新实践》）

最终，该平台不仅单卡支持 60 路典型游戏实例，有效控制 TCO，而且实现流畅、稳定的游戏体验。想了解实践详情，可下载《英特尔互联网行业音视频创新实践》。

除了云游戏，在直播、视频点播、AR/VR、智能语音和影视制作场景，如何应对纷繁复杂的音视频技术与能力挑战？想必，诸多从业者和企业正苦苦思索。

如果借他人成功之法，必可助之早日攻破难题。不久前，英特尔发布“互联网行业音视频创新实践白皮书”，汇集互联网公司和科技企业在音视频技术挑战上的应对之法，帮助更多企业构建高品质音视频技术与能力。

在直播行业，多元化直播趋势正推动直播技术方案发生变革。正如白皮书所示，与传统方案相比，新直播场景的变化以及所需的技术包括：

（图源《英特尔互联网行业音视频创新实践》）

面对新直播场景下的 IT 需求，英特尔通过现有产品与技术提供一系列支持，具体包括：

变革中的视频直播场景
（图源《英特尔互联网行业音视频创新实践》）

在视频点播场景，用户需求和业务运营模式正在发生变化，用户想要更大更高清的观影体验、精准的视频内容推荐和逐渐放大的多平台需求。

我们看到，大屏设备与高清视频内容的普及，让视频点播提供商解决 1080P、2K 乃至 4K 高清视频时出现的卡顿、时延等问题；面对平台上数以万计的视频内容，平台需要根据精准推荐算法，快速精准地向观众推荐内容；不同平台根据使用场景在提供视频点播服务时提供对应的视频格式，这要求平台具有高效的内容分发网络（CDN）和视频转码能力。

具体到 CDN 业务，以金山云 CDN（KCDN）为例，它包含下载类加速服务（支持页面加速、点播加速、下载加速等服务）和直播类加速服务（支持事件直播、社交直播、手游直播、秀场直播等服务）。

在网络攻击技术不断变化的今天，互联网服务提供商倾向采用更高级的加解密方法，但这在显著提升破解难度的同时，也导致服务端的加解密计算量大增。

当前，金山云 CDN 的 HTTPS、QUIC 相关业务中，超过 50% 的业务是密文传输，需要进行大量的对称加解密与非对称加解密计算，这将消耗大量的处理器资源，尤其是非对称加解密对处理器资源的消耗更为巨大。

如何解决 CDN 业务中大量加解密以及压缩计算带来的性能瓶颈，金山云使用了英特尔 QAT 进行加速。

英特尔 QAT 设备技术架构
（图源《英特尔互联网行业音视频创新实践》）

具体详情，可下载《英特尔互联网行业音视频创新实践》白皮书，了解实践过程。

腾讯云如何借英特尔产品与技术提供创新、高效的视频云直播平台解决方案？

金山云如何利用英特尔产品与技术实现集智高清产品，显著节省传输带宽？

腾讯云小微如何通过英特尔产品与技术提升实时语音合成性能？......如果您想了解更多互联网公司和科技企业的前沿实践，破解音视频技术挑战与难题，即刻点击【阅读原文】下载《英特尔互联网行业音视频创新实践》白皮书，助你先人一步，抵达成功彼岸！