【ICASSP2022教程】高维数据的低维模型:从线性到非线性，凸到非凸，浅到深，429页ppt

2022 年 6 月 12 日 专知

我们目前正处于一场数据革命之中。在科学、健康甚至日常生活中产生的海量和不断增长的数据集将影响社会的许多领域。许多这样的数据集不仅大，而且是高维的，每个数据点可能包含数百万甚至数十亿个数字。以成像为例，一张图像可能包含数百万个或更多的像素;一段视频可能很容易包含10亿个“体素”。为什么在高维空间学习具有挑战性，这是有根本原因的(“维度诅咒”)。跨越信号处理、统计和优化的一个基本挑战是在高维数据集中利用低维结构。低维信号建模推动了理论和应用领域的发展，从医学和科学成像，到低功耗传感器，再到生物信息学数据集的建模和解释，这只是其中的一小部分。然而，大量的现代数据集带来了额外的挑战:随着数据集的增长，数据收集技术变得越来越不受控制，经常会遇到严重错误或恶意破坏，以及非线性。传统的技术在这种情况下完全崩溃，需要新的理论和算法。

为了应对这些挑战，在过去的二十年里，高维空间中低维结构的研究取得了爆炸性的发展。在很大程度上，代表性低维模型的几何和统计性质(如稀疏和低秩及其变体和扩展)现在已经被很好地理解。在何种条件下，这些模型可以有效地和高效地从(最小数量的抽样)数据恢复已经明确的特征。为了从高维数据中恢复这种低维模型，人们开发了许多高效、可扩展的算法。这些算法的工作条件、数据和计算复杂度也得到了全面而精确的刻画。这些新的理论成果和算法已经彻底改变了数据科学和信号处理的实践，并对传感、成像和信息处理产生了重大影响。另一方面，最近深度神经网络和低维模型之间在学习表示、网络架构和优化策略等多个层次上出现了强大的联系。这种连接不仅有助于解释深度学习中许多有趣的现象，而且为更好的网络设计、优化、鲁棒性和在监督和无监督场景下的深度网络泛化提供了新的指导原则。

作为这样的历史进步的见证人，我们相信这是一个正确的时机，将这个新的知识体系交付给信号处理社区的下一代学生和研究人员。通过过去20年令人振奋的研究进展，信号处理界已经见证了稀疏和低维模型的力量。然而，与此同时，社区仍然处于拥抱现代机器学习的力量的过渡阶段，尤其是深度学习，在建模和可解释性方面面临前所未有的新挑战。与过去关于压缩感知、凸优化和相关主题的教程相比，本教程(以及相关的书籍、练习和课程材料)的独特之处在于，它将信号处理的基础数学模型与非凸优化和深度学习的当代主题连接起来。目的是展示(i)这些低维模型和原理如何为制定问题和理解方法的行为提供一个有价值的视角，以及(ii)来自非凸性和深度学习的思想如何帮助这些核心模型实用于具有非线性数据和观测模型、测量非理想性等的现实问题。

本课程首先介绍基本的线性低维模型(例如，基本的稀疏和低秩模型)和凸松弛方法，以及激励工程应用，随后介绍一套可扩展和有效的优化方法。基于此，从对称和几何角度介绍了若干基本学习和逆问题(如字典学习和稀疏盲反卷积)的非线性低维模型、非凸方法及其正确性保证和高效的非凸优化方法。在这些结果的基础上，我们继续讨论低维结构和深度模型之间强大的概念、算法和理论联系，为理解最先进的深度模型提供了新的视角，并为设计用于学习低维结构的深度网络提供了新的原则，具有明确的可解释性和实际效益。

https://highdimdata-lowdimmodels-tutorial.github.io/

作者介绍