英特尔详解5G将如何助力VR的未来发展

来源：亿欧智库

摘要：英特尔中国研究院通过重点研究通信和计算融合的方式，解释了5G在面对巨大数据洪流时数据处理和传输的方式，通过边缘计算的新方法，使VR达到传输要求。打造一个高效的通信和计算系统，通往我们设想的远程沉浸式互动的未来。

通信架构实验室主要是致力于无线通信基础架构的研究，我们主要是采用通信和计算结合的方式打造高效的端到端的通信系统，提升用户体验。今天我给大家介绍的主题主要是汇报我们 5G 和 VR 结合的工作——“通信和计算融合，引领VR未来”。

主要介绍三个部分：

第一，5G 主要面对的数据洪流，从架构上怎么支持 5G 的数据洪流。

第二，介绍研究院对于远程沉浸式互动的愿景。

第三，通信与计算融合解决移动 VR 关键问题。

我们研究工作的重点主要是通信和计算融合的方式，为什么需要通信和计算融合呢？大家如果从互联网厂商的角度可能认为通信系统基本上对我来说是透明的，我不需要知道你通信到底做了哪些事情，只需要把信息从一端传到另一端就可以，为什么通信和计算要结合起来，有什么好处？

丨5G 如何应对庞大的数据流

主要的出发点是数据，怎么处理数据和传输数据，特别是 5G 将来所要面对的数据洪流 。大家肯定都是对摩尔定律非常熟悉，宋院长（英特尔中国研究院院长宋继强）也介绍摩尔定律如何实现每18个月我们芯片的能力翻一番。

而在通信领域，通信系统通信速率的发展以及我们对移动通信数据的需求，甚至是超过了摩尔定律。比如说 2016 年全球的移动数据通信量是增长了 63%，如果按照这个速度下去，两年实际上就翻了 2.5 倍左右。它的增长速率甚至超越了摩尔定律的发展。为什么？借用十九大的一句话，满足我们日益增长的对美好文化生活的需求。这是一个指数定律。

今天围绕的主题是VR和5G，为什么VR需要特别大的数据容量，为什么VR在数据洪流里会占据大量的流量呢？目前互联网的最主要的传输内容是视频，将来VR是代表更高质量视频的未来。

我们主要研究系统架构，在5G系统架构里面怎么样满足一个速率洪流的要求，主要是采用计算和网络融合的方式，在端到端的部署、计算和网络系统来满足数据处理和传输的要求。

在3G、4G时代，网络是网络，数据和云计算是云计算功能，对于一个云计算的应用来说，网络基本上是透明的，它的传输容量在接入网端的传输容量和核心网的传输容量，骨干网的传输容量是一致的，你发的任何一个请求都会到云计算中心处理，然后再把结果返回给你，这样在整个容量是一个一致的管道的容量。

在4G的后半期我们已经引入了边缘计算，边缘计算的目的主要是应对在网络边缘的数据传输和处理的要求。我们加入边缘计算，可以对很多边缘产生的数据进行实时的处理和反馈，比如智能汽车产生的数据，智能工厂产生的数据，这样就不需要把所有的数据传到云计算中心再进行处理。 它有两点非常明显的好处，第一是时延非常低，满足物联网的应用。第二是减少核心网的带宽。 虽然我们的5G会将边缘的容量扩展得很大，比如说100倍到1000倍左右，核心网不可能扩展到1000倍。

在5G和下一代会是什么样？会发生什么呢？ 在第三阶段的时候，我们认为它的计算能力会进一步的下移到智能终端 。比如，车或者手机实际上就是一个智能终端，家里的传感器和路上的传感器很多都可以连到智能终端上，5G的网络会把整个物联网设备、智能终端和边缘计算的能力、云计算的能力统一起来，所以我们能够打造一个端到端的网络，同时也是一个端到端的计算平台，来应对5G的数据洪流。

中国研究院也有非常多的智能机器人方面的研究，我们把网络和机器人连接起来，同时机器人能够把360度视频和声音实时的传输到客户端，你可以对机器人进行控制和真实的世界进行互动。这能达到什么效果呢？ 就好像在任何时间你都会瞬间的转移到世界上任何一个角落，和一个真实的环境进行互动，这是我们设想的一个超越目前AR和VR远程沉浸式互动的未来。

能支持什么样的应用呢？我们觉得非常多的应用，像远程购物，你现在是在北京，你可以一下子就跑到美国的超市里进行购物，从货架上亲自把你想要的东西选下来，你就再也不用担心假货。还有远程的旅游，比如说你在一个你喜欢的时间和地点，比如说慕田峪刚下过雪，或者夕阳西下的时候，一下子跑到那里，可以亲自体验一下那个美景。

还有社交的功能，大家回家都非常少，在外地工作的时候，有了我们这个系统可以瞬间转移到你的家里，和你的父母进行聊天，好像你真的回到家里身临其境一样，这是我们设想的远程沉浸式互动的未来。我们用什么样的技术实现呢？下面跟大家介绍一下。

VR最主要的肯定是要做内容，我们刚才也说目前的VR内容2K、4K，它的清晰度还差得很远，我们怎么样产生高质量VR的内容呢。如果你体验过VR的视频可能会有一些体验，目前的VR视频除了是好莱坞制作的大片，基本上VR视频内容都是2D的，因为3D VR视频生成是非常复杂的，制作难度也大。

所以，我们英特尔中国研究院研究的目标聚焦两点：

第一，3D VR视频能实时合成，能够产生高质量的内容。

第二，怎么实时产生内容满足我们对远程沉浸式未来的要求。

我们的设备大家可以看到它有非常多的摄像头，有17个，每个摄像头是2K的分辨率，为什么需要这么多的摄像头，实际上主要是为了在水平方向能够在任意方向差值生成一个3D的内容，需要每个摄像头之间有比较多的重合区域，所以需要非常多的摄像头。

3D VR的合成算法非常复杂，特别是产生一个没有瑕疵的3D视频，你要消除它的鬼影效应，消除拼接的瑕疵，采用非常复杂的光流算法，即使是目前最强大的服务器和最强大的台式机也很难完成实时性的功能。

我们开发了分布式的处理平台，是非常高密度的分布式处理平台，是2.5U高的机箱，在这里可以插入12个至强CPU卡，同时插入12块FPGA卡，中间有600G左右的互联能力。 对视频VR处理来说，对实时合成来说一个主要的功能就是怎么样实现精准的同步，从处理的角度实现精准的同步，这个平台也可以支持 。 通过我们算法的研究，通过实时处理的加强，希望我们能够真正的达到产生一个非常高质量的，比如说现在产生8K的高清的内容，满足将来的要求。

我们有了内容之后，下一个面临的问题是怎么样把这些内容传输到客户端。刚才说了VR的传输要求是非常高，整个的带宽需要是100兆到1Gbps。同时，延迟需要非常低，只有十几毫秒到二十多毫秒。目前的网络基本上是没有办法满足这个要求，所有移动的网络是有接入网，有核心网，有骨干网，所以在任何的两个用户之间传输，即使你是在离得很近的两个用户传输，实际上要走一大圈，中间需要经过非常多的设备，即使优化得很好，最好的效果只能达到50毫秒到100毫秒。

丨这样有两个特别显著的好处：

一是通过通信和计算结合的方式，采用边缘服务器能够显著降低从移动到显示的时延，本来是50到100毫秒，现在只是10到20毫秒。

二是能够大大降低无线通信带宽的需求。如果不采用这种方法需要1Gbps带宽，采用这种方法可以降低2到3倍。通过这种方法我们能够打造一个高效的5G网络传输系统。

还有一点比较重要的：可靠性。 因为VR的传输它对数据传输的可靠性要求非常高 。一个视频如果离得很远，看电视的时候突然有一些瑕疵可能感觉比较明显，但不会感觉特别不舒服，但是如果一个VR眼镜在显示一个视频的时候，如果突然感觉有一帧丢失了，就需要很长的时间才能恢复出来，这时候会感觉到特别的不舒服。

怎么样满足这个要求呢？当然，如果我们仅仅从通信设计的角度去设计一个速率非常高，延时非常低，同时容错性非常好的系统，这也是可以做得到的，但是整个的成本和效率就会非常低。我们也提出用通信和计算结合的方式，我们把整个头显端的计算功能增强，在头显端做一些容错性处理，比如把异步时间扭曲的功能加到头显端。

举个例子，通过边缘服务器或者是个人的笔记本，把视频、游戏传到头显端，第一帧会正确接收，当第二帧传输失败的时候，头显端会用前一帧的内容根据目前头显的位置信息和视角信息进行旋转，重新生成第二帧的内容，这时候用户对整个传输失败的感觉不会太明显，甚至没有丢失的感觉，这样用户体验会大大提升。我们将这种增强异步时间扭曲的功能加入到移动VR头显端，特别是加入到手机端。通过增强头显端和手机端的功能，提高整个系统的可靠性和体验，显著的降低VR带宽的需求和整个设计的难度。

这是我们录的两段视频，左边是英特尔的移动VR系统，右边是第三方的系统。可以看到左边的系统是我们用手机拍摄下来的，是非常流畅，但是右边因为是完全靠这种PC的功能，手机端的功能比较弱，会显得非常卡顿。

还有另外一点最重要的，也是做研究经常容易忽略的一件事情，你的应用在哪里来。如果我们做了一个VR系统，所有的应用要重新写，所有的内容要重新生成，那是没有办法建立起一个生态系统的。

最后总结一下，我们通信架构实验室主要是在5G和VR结合方面的研究，通过通信和计算融合的方式打造一个高效的通信和计算系统，能够将来解决一些移动VR端的关键问题，通往我们所设想的远程沉浸式互动的未来。

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”