RTC从酝酿到爆发，这些爆款实时互动场景为何能被催生？

2018 年 8 月 9 日 InfoQ

距离 9 月 7 日 - 9 月 8 日由声网 Agora、极客邦科技联合主办的 2018 RTC 实时互联网大会召开还有 1 个月时间，大会演讲嘉宾已经就位，分享议题渐露峥嵘。从议题来看，在实时互动架构、音视频编解码等传统话题之外，机器学习、AR、IoT 与实时技术结合方面的探讨也占据颇多演讲席位——RTC 技术的不断发展和演进，催生出很多创新应用场景；它与一些前沿技术所发生的化学效应，也让一些实时互动场景下想象不到的技术走向了聚光灯。

除对议题进行深入剖析之外，我们提前采访了大会多位演讲嘉宾，这其中包括声网 Agora 创始人 &CEO 赵斌、声网首席科学家钟声、Twitch 首席研发工程师沈悦时、Google 视频压缩核心算法组软件工程师陈诚和华为媒体技术实验室首席科学家王田，让你了解 RTC 技术演进的现在和未来，也让你近距离了解 RTC 2018。如果对大会感兴趣，原价 388 元的大会门票目前还有部分限免名额，识别二维码或者点击阅读原文可以抢票。

1 RTC 成为全球最受关注实用技术之一

在声网 Agora 创始人 &CEO 赵斌看来，RTC 技术快速发展的本质是人类对“实时”与“互动”的需求逐渐强烈。伴随着多个垂直领域的场景创新和深度应用，RTC 成为全球最受关注的实用技术之一。

近年来实时互动技术催生的“爆款”、风口和实用场景令人应接不暇，比如之前的狼人杀、视频社交、互动连麦直播，过去一年还有在线抓娃娃、HQ 直播答题、连麦小游戏，同时还有金融、可穿戴、机器人、电商等行业应用场景。

这些都离不开过去几年 RTC 技术的积累与演进。在过去的一年里，WebRTC 实现了浏览器端上的统一，并推出了业界标准 WebRTC 1.0；在编解码领域，H.264 和 H.265 实现了更多商用，AV1 为大平台逐渐推崇，低带宽消耗的 4K 和 8K 高清也将很快成为现实；而国内小程序生态的日渐成熟，也让其成为 RTC 技术新的主流平台之一。

从用户和市场层面，声网首席科学家钟声也有他的看法：从用户角度来看，因为线上社交已成趋势，人们在社交中对实时互动体验的需求势必会不断增强，实时互动也就成为了社交产品中的标配；从市场角度来看，因为互联网通信技术的积累与革新，实时互联网将能提供越来越好的服务质量和用户体验，这会吸引更多产品通过实时音视频来引导用户消费，进一步提升变现能力。

不过华为媒体技术实验室首席科学家王田也提出了 RTC 技术比较挑战之处：技术上比较挑战的是互动娱乐中双向协同及多流协同，目前网络延时还难以支撑实时要求高的协同互动。

2 RTC 与 AI 等前沿技术结合发生化学效应

在赵斌看来，RTC 技术与前沿技术之间，也在发生化学效应，这也是为何 RTC 2018 要设置一些前沿技术话题的原因所在。比如 RTC 与人工智能、机器学习的结合，可以通过机器学习来进一步提升实时音视频的传输质量，也可以通过机器学习来优化音视频的后处理效果，优化超高清分辨率的视觉体验。再比如 RTC 与可穿戴、机器人等产品的结合，在网络基础设施与传输质量不断改进的情况下，实时音视频通信也得以在这些产品以及相关行业中应用。

对此钟声进一步解释：线上虚拟化的社交需要越来越多的“更接近现实”的交互式、沉侵式的体验，AI，AR，VR 及 360 度全景等技术，会有效地帮助开发者进一步实现这一需求。

如果我们进一步对前沿技术与 RTC 的结合进行设想：RTC 未来的爆发契机是什么，会是 AI、AR 或者 5G 吗？王田对此的观点是：AI、AR 技术会驱动互动娱乐更快发展，内容质量更高更有趣，智能程度更高；而网络技术的发展不仅仅是提供更大的带宽，5G 引入了切片技术，未来网络如果能更好地支持低延时服务，可以实现更多互动实时应用。

王田这次 RTC 2018 的分享话题也是前沿技术相关话题——实时通信方面的技术研究和标准。实时动态 3D 建模技术挑战仍然很大，研究与标准工作仍然处于早期阶段，这个话题也是希望能让大家对这一领域新的技术方向和标准进展有更多了解。

3 RTC 中哪些关键技术会让直播体验进一步升级？

Twitch 是一个面向视频游戏的实时流媒体视频平台，据我们了解，Twitch 决定采用 VP9 作为下一代编码格式，并计划在 2018 年年底开始对于观众数极高的电竞赛事直播开始试运营。

对 Twitch 在选择 VP9 的过程中，对于压缩效率、封装格式、播放器支持、法律风险、商业收益等各方面的考量，RTC 2018 邀请了 Twitch 首席研发工程师沈悦时进行详细介绍，希望能给大家展示美国的主流互动直播平台在面对这个问题时的决策逻辑。

因为在盈利模式、行业生态、政策法规等很多方面都有很多不同，在沈悦时看来，国内外互动直播技术实现的最大区别是流媒体分发格式。国外基本上都采用 HTTP Streaming（比如 HLS、DASH）分片流，是播放器端往服务器端拉流。国内主要采用基于 Flash 格式的实时流，是服务器端往播放器端推流。分片流的设计主要考虑成本，但会导致延时过高。实时流的设计主要侧重于低延时，但在国外的行业生态下会导致分发成本过高。

作为一个游戏直播平台，Twitch 每个月能吸引超过 3500 万的独立 IP 访问用户，甚至在 2014 年出现了高达 1 亿人的月访问量。RTC 中的哪些关键技术，会让直播体验进一步升级？对于这个问题，沈悦时进行了详解。

RTC 推流技术到目前为止还是主要针对点对点的视频应用，比如说视频会议、连麦等等。而直播是一对多的广播应用，它对于延时的要求不像点对点那么高，但对于画质、卡顿率的要求却高很多。并且因为同时在线的观众数可能会很大，导致直播对于可扩展性或者说对于分发成本非常敏感。

针对上述产品需求的差别，流媒体工业界新的研发动态很可能是开发一种新的直播推流技术，它既能发挥 RTC 推流技术的低延时特性，同时又可以拥有 HTTP Streaming 的高用户体验和高可扩展性。如果有了这样的新技术，互动直播必将给观众以及主播带来一种前所未有的新体验。

4 围绕 AV1 的标准之争：机遇和挑战共存

在最近的学术界和工业界，AV1 都获得了广泛关注。根本原因是 AV1 标准的压缩效率优于上一代标准，更严谨的说法是目前基于 AV1 的 libaom，编码效率高于基于 HEVC 标准的 x265，或者其他版本的实现。

在 RTC 2018 上，Google 视频压缩核心算法组软件工程师陈诚会对 AV1 视频压缩标准进行综述，从技术层面介绍视频压缩算法的设计和应用，让更多人了解 AV1 的整体概况、AV1 里面提升压缩效率的主要技术模块以及 AV1 的最新进展。

在陈诚看来，从 H264 的普及到 HEVC 的专利困局，音视频压缩领域标准的专利费用成为了业界最大的问题。Royalty free 的标准自然就成为了新的关注焦点。Royalty free 的标准在这些年获得了很大进展。VP8、VP9 作为 Google 开发的视频标准，在 WebRTC 和 Youtube 取得了很大的成功，给业界树立了信心。AV1 正是在此基础上开发的新一代标准，而且已经获得 Google、Facebook、Netflix 等业界公司的数据支持，表明 AV1 得压缩效率高于其前身 VP9。

同时从视频标准发展的历史来看，H264 到 HEVC，再到 VVC，每一代标准的周期大约是十年。这个周期已经落后于互联网对视频压缩的需求，业界需要压缩效率更高的新标准。AV1 在 VVC 之前率先定稿，并且比 VP9 有 30% 的压缩效率提升。这正抓住了 HEVC 推广受阻，而 VVC 尚未到来的真空期。因此 AV1 可能会在业界内得到比其上一代 VP9 更为广泛的应用。当然 AV1 在学术界还不如 HEVC、VVC 一样吸引到足够的研究兴趣，在工业界的发展也要接受时间的检验。但是 AV1 的前景还是值得期待。

提及 AV1 发展最大的挑战，陈诚表示：AV1 既然是标准，自然希望能提供当前最优的压缩效率。我们也知道视频压缩技术在追求压缩效率的同时，增加了运算的复杂度，也带来了软硬件的压力。谈及压缩效率，还要综合考虑使用场景。例如 WebRTC，因为实时性要求，不能采用高运算复杂度的配置，移动终端的功耗也不支持大量的计算。AV1 要获得更广泛的使用，还要在压缩效率和运算复杂度之间的平衡上下狠下功夫，距离完全的成熟也还有很长的路要走。

5 结束语

想听以上嘉宾的精彩分享，还想与 Google、声网、WebRTC、Twitch、新浪微博、华为、腾讯、Cocos、陌陌、花椒直播、VIPKID、Bilibili、沪江、招商银行等知名互联网公司技术领袖、音视频技术大咖、产品创新专家，以及来自亚洲不同地区的 2500 名开发将一同交流分享？还不快来点击阅读原文或者扫描下方二维码预定一张你的 RTC 2018 大会门票。