【科技助力冬奥】CSIG三维视觉专委会主任陈宝权—“沉浸式”看冬奥，北大“黑科技”带你体验
陈宝权，北京大学教授，前沿计算研究中心执行主任，博士生导师，中国图象图形学学会常务理事、三维视觉专委会主任、中国图象图形学学会会士、IEEE Fellow和中国计算机学会会士。研究领域为计算机图形学与可视化，在ACM SIGGRAPH、IEEE VIS、ACM TOG等国际会议和刊物发表论文200余篇。因为在空间数据（建模）与可视化方面的贡献，入选IEEE Fellow（2020）。
北京冬奥会正在如火如荼地进行
在北京冬奥村有一间神奇的“北京小屋”
里面展示着与冬奥相关的最新技术成果
其中颇具吸引力的“打卡点”之一
在这里我们获得“沉浸式”观赛体验
是源于北京大学牵头研发的
“冰雪项目交互式多维度观赛体验技术与系统”
通过这项北大“黑科技”
能自主选择观赛视角
身临其境地体验冰雪比赛的速度与激情
将来，你只需手持一部5G手机点开应用软件
就可以体验前所未有的观赛新视角
↓点击视频，开启观赛新体验↓
冬奥小屋里的“黑科技”
在北京冬奥村（冬残奥村）下沉广场区最显眼的位置，有一个充满科技魅力的小屋，叫做“北京小屋”。小屋分为“挥洒梦想”“精彩绝伦”和“无障碍沟通”三个展区，展示了十六项冬奥会相关的新技术成果。目前，“北京小屋”已经成为了运动员和教练及随队官员沉浸式体验冬奥科技项目的最佳打卡地之一。
在一众令人惊叹的高科技项目展示中，具有超高人气的莫过于 “冰雪项目交互式多维度观赛体验技术与系统”项目展台，它让“自由视角”观赛成为了现实。当你站在展台前，手就变成了第三只眼睛，随着手的摆动，屏幕上的观赛视角也会不断变化。这样新奇的交互式科技，让观众仿佛身临其境，观赛体验更上一层楼。
这项技术来自国家重点研发计划“科技冬奥”重点专项“冰雪项目交互式多维度观赛体验技术与系统”，由北京大学牵头，国家实验室、企业和其他高校参与合作研发。
项目针对2022年北京冬奥会冰雪运动的特点，突破虚拟现实（VR）视频和自由视角视频节目拍摄、内容生成、高效编解码、自适应传输和交互式呈现等关键技术，研制VR和自由视角视频节目采集系统、内容生成系统、实时编解码器、自适应传输系统和交互式终端，进行端到端系统集成，建立一套交互式多维度观赛体验系统，并在有线电视网、电信网、5G网和互联网等平台实现示范应用。系统应用8K、VR和自由视角技术创新冰雪运动赛事转播，为观众打造交互式、多维度的强临场感、“沉浸式”观赛体验。
一台专属于你的赛事转播
北京大学教授陈宝权是这一项目的负责人。他把“子弹时间”从电影后期效果搬到了体育比赛的实时转播中。“自由视角”技术下建立的交互式多维度观赛体验系统，能够帮助观众实现全新的观赛体验，在观看比赛的过程中，观众可以连续地改变观看点位，选择自己喜欢的角度去看同一场赛事活动。相当于每个观众看到的画面，都是符合自己需求的，可以千差万别。
冬奥测试赛自由视点
因为这一项科技突破，你可以自己做自己的导播，选择你最想看的视角。即使身在家中，也能通过设备听到、看到场馆内的实时情况，身临其境地享受一台专属于你的赛事转播。
此前，项目组人员现场测试VR直播观赛
这套系统能实现交互式自由视点观看，将此前技术的三自由度（即眼睛可以向上下左右看）提升到了六自由度（头部位置也可以移动），相当于把观众的眼睛带到了赛场上空，让观众可以在任意位置和方向观看比赛。
360度无死角转播
从场馆图像数据采集到观众在任意地点实时观看，一个端到端的解决方案清晰可见，这正是整个项目的难点和亮点。
现场图像拍摄后送往云端，场馆与比赛信息被三维重建和新的视点生成，再通过编码与解码提供给观众“自由视点”观看体验。由于场馆内部限制，42台摄像机稀疏地分布在210米的轨道上，每台摄像机间距5米，这就需要更加智能的算法补充中间视点画面，实现全场域的无缝自由视点。
项目组为其配置了一个“聪明大脑”——首先，通过三维重建让新视点的合成变得可能；然后，自适应编码与传输技术，根据用户视点改变的意图来预测下一步趋势，进行有针对性的计算与数据传送。
陈宝权说：
通过三维重建实现新视点的图像生成，避免因现场相机个数有限给观众视点漫游造成跳跃感；采用足够多的新（虚拟）视点插入，最终实现丝滑般的自由视角观赛体验。
数字孪生系统演示
通过这项技术，项目组将电视导播的转播选择权转交到观众手中。但同时也出现了新的问题，大多数观众并不具有丰富的转播经验，不一定能够自主寻找到最佳的观赛视角而错过精彩瞬间。
考虑到此，团队还设计了“VR冬奥赛事孪生推演与视听语言创意设计软件”。通过对场馆进行三维重建，再根据以往赛事分析，并与专业人士合作，针对赛场上的精彩时刻设计视频镜头轨迹，进行实时导播。给观众观看时的“临场感”，不错过每一个激动人心的瞬间。
数字孪生推演系统就像比赛现场的导演一样。针对不同比赛场景在系统内设置不同的镜头规划，向观众展示比赛的精彩瞬间。
高清画面，极低延迟
在去年4月、10月、11月的三场“相约北京”冬奥系列测试赛中，“冰雪项目交互式多维度观赛体验技术与系统”的功能都得到完整的实现。
直播中要求画面延时不超过30s，这对于计算和数据传输的效率要求非常高。本次冬奥会的视频直播采用了我国自主研发的视频编解码标准AVS3，通过深度学习，在编码效率上得到了指数级的提高，实现了在8K分辨率下进行多媒体编解码和通过5G、广电网和互联网的全链路传输。
转播分辨率从2K到4K，再提高到2021年春晚的8K试播，每一步升级换代背后都是视频编解码技术突破与标准成熟落地的体现。8K与5G技术相结合，无疑是构建了一条视频传输的高速公路。而交互式自由视点转播，如同“在5G高速公路上进行‘花式’飙车”，与传统单视点转播相比，在数据容量上是数倍甚至数量级的提高，给观众带来全新的体验。
从“看得清”到“看得真”
据陈宝权介绍，“冰雪项目交互式多维度观赛体验技术与系统”分为四个课题，总项目由北京大学牵头，高校与企业产学研的深度融合，让新技术有机会进入寻常百姓家。
5G时代下，观众对视频观看的需求正在从“看得清”向“看得真”转变，实现超高清和沉浸式观看要求势在必行。
无特殊的装备，也无专用带宽，5G手机配合5G网络，用户就可以实现高质量的交互式观赛，使交互式VR技术直通到寻常百姓的手中。
陈宝权介绍说，新技术下的转播可以实现高效的内容生成，给予观众交互参与的机会，也打通了技术下沉的中梗阻。
奥运会也是各国展现技术的赛场，每届奥运赛事转播都体现技术发展的里程碑。
在陈宝权看来，“科技冬奥”的意义所在，正是让奥运会惠及百姓生活，展现未来人们生活的样子。他希望为这场盛会增添来自北大的一抹亮色的同时，以冬奥会转播应用作为背景推动，建立我国自主的VR视频标准，带动VR产业的发展，真正实现“科技奥运”惠及数字时代每一个人的愿景。
来源：北京大学公众号
相关内容
微信扫码咨询专知VIP会员