【干货】 2020年度图像图形学发展年度报告之六：面向体验质量的多媒体计算通信

2020年度图像图形学发展年度报告之六：《面向体验质量的多媒体计算通信》由图像视频通信专业委员会组织撰写

关注公众号，回复“面向体验质量的多媒体计算通信”，即可下载详版学科发展报告。 

点击阅读原文，即可阅读精简版学科发展报告。

摘要

随着移动互联网和通讯技术的发展，多媒体通信技术成为国家信息产业发展的重大需求，广泛地应用在视频会议、各类直播应用、远程医疗、远程监控和远程教育等方面。然而，大容量多媒体通信业务面临着网络带宽的压力。本文将媒体计算引入通信系统，建立新的多媒体通信研究范式，从提升体验质量（quality of experience，QoE）的角度，形成新的多媒体编码与传输方法，从根本上降低网络带宽需求的压力。体验质量即信息接收者结合自身期望对客观信息载体的有关性能给出的主观评价，是区别于服务质量（quality of service，QoS）的通信质量评价准则。本文介绍了QoE的评价准则，分为基于用户的评价方法和基于客观参数的评价方法，通过用户主观评分或对用户的相关生理、心理指标进行测量进而分析、推测用户的感受；或者通过对业务客观指标的主观化修正实现体验质量的评价。本文综述了多媒体编码方法，主要包括基于波形的编码和基于内容的编码方法。前者对任意视频信号进行有效编码而不需要分析视频内容，如一系列视频编码标准；后者识别视频序列中的物体和相关区域并对它们进行编码。本文阐述了5G+AI（artificial intelligence）时代的新型视频传输方法，如多视点视频编码、4K、8K视频编码，3D立体视频，点云、光场、AR（augmented reality）、VR（virtual reality）等视频业务。

国内外研究进展比较

如今，大量的对话类视频例如FaceTime正涌入人们的生活,不断填充人们的视频通信内容。此外，过去10年见证了视频分辨率和屏幕尺寸的飞速增长。特别是4K/8K超高清这类高分辨率的对话类视频的出现，给如今的带宽资源带来巨大的压力。鉴于视频数据的庞大性和信号带宽的有限性之间日益剧烈的矛盾，所以必须对高清视频进行高效率的压缩。

最早的视频编码标准是国际电信联盟ITU在1984年提出的 H. 120，然而由于其性能太差而在实践中不可用，因此在 1988 年 ITU 又提出了 H. 261 标准，也是世界上第 1 个实用的视频编码标准。时 至今日，当下国际常用的编码标准是 H. 265。这种编码标准提供了更为高效的编码方式，从而在一定程度上缓解了带宽受限的问题。由于H.265拥有灵活的图像分割规则、并行化视频编码以及其他的一些先进的方法，这种新兴的编码规则比上一代的编码标准H.264/AVC有了一个较大的提升。具体来讲，HEVC依然沿用MPEG系列和H.26x系列所采用的混合编码框架，但HEVC同时在原有的基础上进行了大量的改进和创新，比如基于四叉树结构的编码分割、多角度帧内预测等技术。目前，新一代的编码标准H.266/AVS3也在标准化的进程中，我国和JVET委员会分别于2019年和2020年发布AVS3第1版、VVC标准第1版。其中，VVC相比上一代的编码标准HEVC增加了30多种新的编码工具，覆盖了混合视频编解码系统框架中的每个模块。如VVC的编码单元最大可以覆盖到128×128像素亮度区域，而且其块划分除了支持四分树，也支持二分树和三分树，能够精确而灵活地描述物体等。

发展趋势与展望

视频通信的发展趋势表现在几个方面：

1）视频分辨率不断提高。4K分辨率的超高清视频正在成为主流，8K视频成为未来媒体的发展趋势。据悉，2022年北京冬奥会正在加速推进AVS3+8K+5G超高清视频布局。无线医疗、3维全息视频会议、抖音和直播等新型应用，延展出更为丰富和极致的功能体验，多样化高清应用为视频通信带来了新的挑战。

2）安全稳定运行。为了应对接入设备源发的恶意流量激增引发的安全新问题，立足通信构筑新的安全架构，建立安全监测与恶意行为管控协同的新框架，需解决“通信恶意行为的协同监控架构及其评估模型”这一科学问题，攻克可信协议构建、恶意通信行为监控等关键技术（葛宁等，2020）。

3）物联网（internet of things，IoT）。物联网的广泛部署已经改变了网络服务的开发、部署和运营方式。最近，大多数先进的物联网设备都配备了视觉传感器，随后形成了所谓的视觉物联网（V-IoT）。由于需要视觉数据的感测和处理，V-IoT严重依赖于计算机视觉处理技术。它们已广泛用于各种应用中，例如工业生产、视频监视、智能交通、精确农业、娱乐以及自动地面和空中车辆。

V-IoT旨在解决当前的IoT对象与复杂的多媒体处理之间的鸿沟，将多媒体、信息学、通信和网络、统计和计算科学结合在一起。V-IoT生态系统旨在通过有效地控制物理数据和事物，通过智能识别、视觉信息分析、通信、监视、跟踪、预测和明智的管理，有效地“看到”、“理解”和“连接”所有内容，使网络连接更加可见和有价值。V-IoT正在改善新兴应用程序和行业经验的可视化和智能水平，解决了大量物联网设备和海量多媒体数据的负担，涵盖了从使能技术到未来物联网通信类型的主题，并研究了未来智能通信和多媒体计算技术。

报告章节一览

1. 引言

2. 国际研究现状

    2.1 无线多媒体通信国际现状与发展前沿

    2.2 多媒体QoE度量和计算方法

    2.3 视频编码方法

    2.4 视频传输方法

3. 国内研究进展

    3.1 无线多媒体通信国内现状与发展趋势

    3.2 多媒体QoE度量和计算方法

    3.3 视频编码方法

    3.4 视频传输方法

4. 国内外研究进展比较

5. 发展趋势与展望

CSIG图像视频通信专委会介绍

图像视频通信涉及图象视频分析与通信领域的交叉，是人工智能、大数据与通信的交叉融合，其特有的远端通信、交互和呈现能力为航空航天、军事指挥、生产安全、广播电视、教育培训、应急救援、安防监控、医疗等提供了强有力的支撑，也为当前疫情条件下远程会诊、复工复产、复教复学提供了重要保障。近年来，图像、视频与通信技术的交叉研究与应用在多维度、多模态、多尺度等方面取得突破，涌现出交互式媒体、智能媒体、云媒体、融合媒体等丰富形态，其成果为人的活动提供服务之外，也开始面向万物、全天候、全时段，这些为多个行业带来了升级转型的重要契机；与此同时，移动通信的发展离不开多媒体应用的变革，5G通信在国内的应用条件日趋成熟，其大带宽、低延迟、广分布的特点也给多媒体技术的新型应用带来了重要的便利，使得双方的结合相得益彰。

本专委会在上述交叉技术研究与应用的蓬勃发展中应运而生，专委会成员来自高等院校、科研院所、企业团体等单位的一线科研人员、科研管理人员，通过每年高频次、多形式的学术会议、论坛促进前沿学术的碰撞；以“中国行”等活动走进企业，将学术前沿与企业实际需求相结合，促进企业技术改造、行业技术升级；以科普活动等形式走进中小学、社区街道，面向广大民众传播图像、视频、通信相关的基础知识与创新应用，带领广大民众了解、认识本学科能给人们的工作、生活带来的变化，对美好的未来充满期待。

组织结构

主任：

刘文予   华中科技大学

副主任：

卢汉清   中国科学院自动化研究所

陶晓明   清华大学

徐树公   上海大学

刘富强   同济大学

汪少波   华为技术公司

秘书长：

杨   铀   华中科技大学

特别鸣谢

感谢CSIG咨询与评议工作委员会的大力支持。

CSIG咨询与评议工作委员会的主要工作包括就学科发展和学会发展组织撰写专家建议白皮书，组织科技成果鉴定。

组织结构

主任：

李   波   北京航空航天大学

副主任：

王涌天   北京理工大学

秘书长：

张永飞   北京航空航天大学

委员：

汪    萌   合肥工业大学

王    程   厦门大学

颜    波   复旦大学

闵卫东   南昌大学

刘青山   南京信息工程大学

贾    森   深圳大学

高    峰   中国海洋大学

彭宇新   北京大学

关于第十一届国际图象图形学学术会议延期的通知

关于延期举办2021华南国际机器视觉展暨CSIG视觉前沿技术与应用研讨会的通知

关于2021年度中国图象图形学学会高级会员评选工作的通知

关于提名2021年度中国图象图形学学会会士候选人的通知

关于2021年度中国图象图形学学会奖励推荐工作的通知

中国图象图形学学会关于征集“典赞·2021科普中国”参评项目的通知

中国图象图形学学会关于组织开展科技成果鉴定的通知

CSIG图像图形中国行承办方征集中