中国图象图形学学会(CSIG)第六期珠峰论坛于12月11日在上海(线上线下结合)成功举办,本次论坛由中国图象图形学学会主办,中国图象图形学学会青年工作委员会承办,上海大学协办。
本次论坛主题为“沉浸式视频处理专题研讨会”。邀请了在沉浸式视频处理领域的多名优秀学者做特邀报告,积极探索沉浸式视频处理领域的国际前沿技术。本次论坛采取线上线下结合的方式,共有来自全国各地的师生及企业界人士近1500人参加。
上海大学沈礼权研究员主持了开幕式。上海大学科研管理部部长张新鹏教授首先致辞,感谢大家对本次论坛的大力支持,感谢大家对上海大学的支持,并希望大家在学术交流中有所收获。
前四场报告由上海大学安平教授主持,中国科学院大学吕科教授、电子科技大学的朱策研究员、北京工业大学卓力教授、中国传媒大学的张勤教授围绕论坛主题作了精彩报告。
中国科学院大学吕科教授作了题为“3D对象分析与生成关键技术与方法”的报告,该报告首先分析了3D对象应用面临的理论模型缺乏,模型泛化性低以及空间结构信息缺失等挑战性问题。以3D数据的特性为驱动,从逼近理论,卷积网络和生成对抗网络方面对3D对象分析与生成的深度学习理论方法的建立进行了阐述,旨在突破3D数据特性与现行处理方法不协调的瓶颈问题。围绕基于视图-模型相关性和内容相似性对3D对象检索进行了阐述,展示了团队在3D检索和生成方面的研究成果。最后展示了3D人脸特征提取在移动端的实现以及人脸表情获取与生成等应用情况,内容涵盖了模型关键点坐标投影,人脸特征点坐标匹配等算法。
图 3 吕科教授报告
电子科技大学朱策教授作了题为“视频编码的率失真优化技术:现状、挑战及进展”的报告,该报告介绍了近年来国际压缩编码标准的发展历程。详细阐述了H.264/AVC、H.265/HEVC的编码框架,讨论了传统视频编码中率失真优化的参数确定问题,涉及了时域-空域相关性的多变量联合优化问题。报告展示了率失真优化应用于HEVC和VVC框架中实现的性能提升。最后介绍了不同映射方式下的360°视频的率失真优化。
图 4 朱策教授报告
北京工业大学卓力教授作了题为“基于深度强化学习的自适应码率控制”的报告,该报告内容从强化学习、深度强化学习以及人眼显著性感知方面以层层递进的方式对码率自适应研究展开阐述。在强化学习中,以数据驱动的方式训练最佳策略,着重分析了QoE评价建模的主客观影响因素。在深度强化学习层面围绕奖励函数设计,深度神经网络结构,以及应对复杂多变的网络状况时结合视频编码与网络传输需求的多种研究方案进行了独到的分析,总结了代表性的深度强化学习码率自适应算法工作。卓力教授阐述了视觉显著性区域与感知质量的高度相关性,指出了结合显著性区域建立QoE模型的必要性和优越性。最后展望了新技术解决深度强化学习自适应码率控制算法的样本效率低,收敛缓慢的问题。
图 5 卓力教授报告
中国传媒大学张勤教授作了题为“元宇宙中视频场景与情智模型的研究”的报告,该报告内容涉及视频场景的沉浸感建模基础以及6G全媒体的情智信息的理论体系和模型架构,展示了基于语义补全、文景转换的视频场景建模方面的研究成果,介绍了情智模型中复杂变参数的概率问题以及情智信息与人工智能的交叉融合问题。最后围绕服务于智力发展的新媒体系统,脑电信号,提升智力方面讨论了情智信息的未来应用,并展示了根据情感需求,输出相应风格音乐的情智音乐模型。
后四场报告由上海大学沈礼权研究员主持,清华大学丁贵广研究员、北京航空航天大学徐迈教授、中国科技大学陈志波教授、西安电子科技大学吴金建教授围绕论坛主题作了精彩报告。
清华大学软件学院丁贵广研究员作了题为“深度学习模型优化技术及其在工业视觉应用”的报告。该报告介绍了深度学习模型优化的发展历程,指出深度学习模型复杂度越高,参数越多性能越好,但计算量激增会产生大量能源消耗的现实问题。该报告从算力和模型两个方面讨论了解决方案。围绕模型轻量化设计、模型结构搜索、模型剪枝、模型重参数化四个方面总结了模型压缩优化方法的策略。此外,还介绍了新的光电计算模型设计和光学神经网络。最后,还总结了深度学习的工业视觉应用中的4个问题:少样本下的模型精度提升、场景自适应模型精度提高、模型训练加速问题、轻量模型的推理加速问题。
图 7 丁贵广研究员报告
北京航空航天大学徐迈教授作了题为“通往沉浸式媒体体验之路:全景视频感知、质量评价与压缩”的报告。报告首先介绍了5G环境下全景视频面临的机遇和挑战,展示了团队在全景感知模型、全景质量评估方法以及全景感知编码技术方面的研究成果。报告指出人类头动数据有很强的中心偏好一致性,进而可以在此基础上利用统计学方法和强化学习方法构建模仿学习模型来探索全景视频的注意机制。针对引入感知信息的全景视频质量评价模型和以优化感知为目标的全景视频压缩技术给出了独到的见解。最后对面向火星探测的全景视频编码与立体增强显示技术进行了展望和趋势分析。
中国科学技术大学陈志波教授作了题为“光场图像的编码与质量评价”的报告,该报告以光场的双平面表达模型为切入点介绍了光场图像的参数化表达以及光场的采集和多种可视化表达方式。展示了光场图像的多个应用场景,介绍了国际标准制定组织JPEG和MPEG在光场图像压缩标准和质量评价标准方面的工作和进展,分析了光场多视点间的冗余问题。该报告展示了陈老师团队的多个光场图像编码工作与HEVC性能对比结果。最后介绍了目前的光场图像主观评价数据库及建立方法,展示了基于角度-空间测量和张量分解的两种高准确度的无参考图像质量评价方法与现有客观方法的性能对比结果。
西安电子科技大学吴金建教授作了题为“脑启发式图像/视频质量评价技术”的报告。报告指出基于深度学习的质量评价方法缺乏大规模有标记的数据集。吴教授介绍了他们团队建立的百万级图像质量评价数据集和数十万级的视频质量评价数据集,二者均利用全参考方法制作“伪主观质量”分数标签的方式解决了超大图像/视频质量评价数据库主观质量分值获取困难的问题。实验证明基于“伪主观质量”分数标签的大数据集深度学习质量评价模型在交叉实验验证中相比其它方法能实现非常明显的性能提升。报告介绍了基于层级内容衰减的无参考质量评价方法和基于空时增强的视频质量评价方法,内容涵盖了运动速度、内容的衰减对视频质量的影响。最后展示了团队开发的多套图像质量评价系统,遥感缺陷智能检测系统以及需求导向的图像质量评价系统。
精彩的学术报告向与会者介绍了论坛主题方向的最新前沿进展,激发了大家的兴趣和热情。最后由中国图象图形学学会青工委副主任王瑞平教授对论坛的圆满举办进行了结束致辞,感谢各位专家的精彩分享以及线上线下参会人员的积极参与和支持,2021年中国图象图形学学会第六期珠峰论坛获得了圆满成功。