前沿进展 | 多媒体信号处理的数学理论

点击中国图象图形学报→主页右上角菜单栏→设为星标

今天图图带大家阅读《中国图象图形学报》2020年第1期综述论文《多媒体信号处理的数学理论前沿进展》。该文由上海交通大学熊红凯教授、华中科技大学于俊清教授等八位学者联名撰写。

论文信息

题目：多媒体信号处理的数学理论前沿进展

作者：熊红凯,戴文睿,林宙辰,吴飞,于俊清,申扬眉,徐明星

关键词：结构化稀疏表示; 基于框架理论的深度卷积网络; 多层卷积稀疏编码; 图信号处理; 多媒体信号处理

引用格式：熊红凯, 戴文睿, 林宙辰, 吴飞, 于俊清, 申扬眉, 徐明星. 2020. 多媒体信号处理的数学理论前沿进展. 中国图象图形学报, 25(1): 1-18[DOI: 10.11834/jig.190468]

全文链接：

http://www.cjig.cn/html/jig/2020/1/weixin/20200101.htm

论文看点

1. 重点介绍目前受到广泛关注的针对高维非规则多媒体信号处理的数学模型和理论方法，主要包括：

• 结构化稀疏表示模型

• 基于框架理论的深度网络模型

• 多层卷积稀疏编码模型

• 图信号处理理论

2. 比较该领域国内外研究进展

3. 对多媒体信号处理的理论模型发展趋势进行展望

多媒体信号处理的数学模型和理论边界

图片来源网络

深度学习模型广泛应用于多媒体信号处理领域，通过引入非线性能够极大地提升性能，但其黑箱结构无法解析最优点和优化条件。

如何利用传统信号处理理论，基于变换/基映射模型逼近深度学习模型，解析优化问题，成为当前研究的前沿问题。

论文从信号处理的基础理论出发，针对目前几个广泛关注的针对高维非规则多媒体信号处理的数学模型和理论方法进行分析。

0

1

结构化稀疏表示模型

鉴于传统低维信号的稀疏表示采用L₀或L₁范式约束，孤立地优化字典原子，无法表征信号潜在的结构关联，结构化稀疏表示方法通过混合联合范式正则项，利用近端算法或网络流优化求解组Lasso目标问题，获取包含结构信息的更优稀疏表示。扩展互不相交的组稀疏为相互重叠的层次化稀疏，衍生符合多维网格结构的层次化分组Lasso，拓展至有向非循环图的分层结构，形成非规则稀疏性的图Lasso问题。

0

2

基于框架理论的深度网络模型

鉴于结构化稀疏表示仍然立足于基集的线性映射，基于框架理论的深度网络通过延拓多尺度几何分析中的半离散框架来生成深度卷积网络，引入非线性形成对于形变稳定的特征表示，并继承框架理论的尺度和方向分解性质。散射网络通过多尺度小波变换系数的期望，等效平均池化操作，延拓形成卷积网络，实现对于多媒体信号的任意尺度和方向分解，并扩展至一般化的半离散框架。

0

3

多层卷积稀疏编码模型

受散射网络启发，多层卷积稀疏编码在稀疏编码基础上，引入L₀和L_∞的组合正则约束，拟合最大化池化操作，并递归逐层分解学习过完备字典，形成多尺度非规则结构的稀疏表示。

0

4

图信号处理理论

考虑到卷积神经网络大多基于传统网格结构，而忽略非规则结构的内在拓扑特征，近年来，图信号处理理论，旨在非欧氏空间上进行基于拓扑结构的信号处理，将传统的信号处理理论扩展到图表示的非规则信号领域。

利用谱图理论可以从图傅里叶变换扩展包括时频变换及其算子、滤波器设计等的传统信号处理理论，然而其泛化性能和可扩展性受制于对特定图结构的依赖性。因此，基于传统信号处理的理论框架，解析谱图模型的数学性质，解释其中的关联性，为广义的大规模非规则多媒体信号处理模型提供理论基础，成为当前研究中的重要领域。

前景展望

图片来源网络

图信号处理通过解析谱图模型的数学性质，解释其中的关联性，为建立广义的大规模非规则多媒体信号处理模型提供理论基础，是未来研究的重要方向之一，具体包括：

1. 动态图分析和处理。由于图信号处理体系建立在图傅里叶基的基础上，不同的图所建立的傅里叶基是不同的，因此对于动态图的分析和处理成为图信号处理体系建立的必须解决的问题。

2. 传统的信号处理工具在图上的扩展如图滤波器组和相关快速算法的理论建立和实现。

3. 基于数据驱动的图信号处理方法的建立。随着计算力和数据的增长，基于数据驱动的信号处理如图字典和卷积稀疏码等表现了很好的性能和泛化性能，成为研究的热点。

4. 图信号处理理论的图卷积神经网络的发展和理论解释。包括图卷积、下采样、上采样和模型稳定性和泛化性的理论保证。

5. 图卷积神经网络在相关领域的应用，如点云、蛋白质和化合物分析、社交网络分析。

6. 图卷积神经网络的图表示学习方法。

作者简介

第一作者：熊红凯，特聘教授，主要研究方向为信号处理与编码、多媒体网络通信、数据表示与学习。

Email: xionghongkai@sjtu.edu.cn.

通信作者：于俊清，教授，主要研究方向为基于内容的视频分析、索引与检索、多核计算与流编译、视频情感计算、网络安全与大数据处理。

Email: yjqhust@qq.com.

戴文睿，副教授，主要研究方向为图像/视频编码，数据压缩和生物医学信息处理。

Email: daiwenrui@sjtu.edu.cn.

林宙辰，教授，主要研究方向为机器学习、模式识别、计算机视觉、图像处理和数值优化。

Email: zlin@pku.edu.cn.

吴飞，教授，主要研究方向为人工智能、跨媒体计算、多媒体分析与检索和统计学习理论。

Email: wufei@zju.edu.cn.

申扬眉，博士研究生，主要研究方向为结构化稀疏表示与字典学习，非规则数据压缩。

Email: shenyangmei0214@sjtu.edu.cn.

全民抗疫我倡议

在家呆久了

会不会烦躁、焦虑、敏感...

试试权威发布的心理调适方法~

让我们一起

学会管理情绪

积极调整自己

把正能量传递给身边的人~

如果您有故事想倾诉，有问题想询问，有经验想分享，欢迎添加下方学报小编微信。

编辑推荐

本文系《中国图象图形学报》独家稿件

内容仅供学习交流

版权属于原作者

欢迎大家关注转发！

编辑：韩小荷

指导：梧桐君

审校：夏薇薇

总编辑：肖   亮

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

齐心抗疫

与你同在

前沿 | 观点 | 资讯 | 独家

电话：010-58887030/7035/7418

网站：www.cjig.cn

好看请点这里，好文一起分享