从生产到理解分发，第三届“马栏山杯”算法大赛带你了解视频AI全流程

2022 年 6 月 20 日 学术头条

立足现有业务，朝元宇宙出发。

2022 年 6 月 20 日，由湖南省互联网信息办公室主办，芒果TV 与中国（长沙）马栏山视频文创产业园共同发起的第三届“马栏山杯”国际音视频算法大赛正式赛阶段正式开始。前两届比赛聚集了海内外超过3000名的顶级选手参赛，获得了巨大的成功。

本届大赛即将发布全新数据集，从“内容生产”，到“内容理解”，再到“内容推送”，设置三维视觉、图像修复与算法推荐三个不同方向的赛题，前十名选手均能获得丰厚奖金。

多样赛道覆盖视频平台 AI 应用全流程

我们平时看到的三维现场视频，是由现场部署的多台同步摄像机拍摄后，再将内容在云端进行三维重建和编码，最后传输到客户端。观众可以根据需求，选择自己喜欢的视角观看画面。

在三维视觉即“自由视角生成”赛道中，参赛选手的模型需要扮演“摄像机”的角色，根据部分摄像机的图片和所有摄像机的位置，生成其他摄像视角的图像。这样，算法就能帮助摄像系统重建 3D 影像。三维视觉也是元宇宙的重要基础技术之一。

本赛道提供了 92 个相机协同采集的图像和对应相机的内外参数，打造了一个多视角生成任务，希望选手可以设计出一套高效准确的方法，根据相机参数和部分已知图像去生成其它角度的图像。

在“无参考视频画质机器评价”即图像修复赛道中，参赛选手需要搭建模型，在没有原始视频参考的情况下，自动判断视频画质的清晰度、失真损伤的程度等质量指标，从而能在视频节目摄制、海量内容转码生产等场景中得到应用，进而保障和提升观众的节目观看体验。

选手需要搭建模型，自动判断图片的质量

内容平台不仅要持续生产高质量内容，还需要尽可能缩短用户找寻感兴趣内容的路径。其中视频观看序列预测技术发挥着重要作用，合理利用相关技术，可以在保障用户隐私数据安全的前提下，帮助用户充分探索平台内容。在“用户下一个视频预测”赛道中，参赛选手会获得一组脱敏处理的视频特征（包括视频类型、视频标签、上线时间、视频中出现的重要人物等），并根据这些脱敏数据预测视频平台的用户下一个时刻会观看哪个视频。

视频行业真实数据精准指向业务应用

芒果TV 积累了大量有价值的数据。在比赛中，这些数据将被发布用于选手参加比赛、训练模型和验证自己的方法性能。

在“自由视角生成”赛道中，选手用来研究的数据集来自芒果TV 的国内首个 4K 光场拍摄棚。摄影棚里近百个相机和数千个光源环绕组成了协同采集系统，可以完成动态人物建模等专业影视级特效场景拍摄。这一量级与精度的数据也是首次在国内的算法类比赛中被提供，具有极高的参考价值。