【2023新书】等变和坐标独立的卷积网络，神经网络理论，524页pdf

本专著汇集了我们近年来在等变CNN的表示理论和微分几何方面获得的发现。它推广了以前的结果，提出了新的见解，并增加了背景知识、直观解释、可视化和示例。内容简要概述：

第一部分发展了欧几里得空间上等变CNN的表示理论。它演示了传统和泛化CNN的层是如何完全根据对称性原则推导出来的。包括群卷积网络、谐波网络和张量场网络在内的流行模型在一个共同的数学框架中得到了统一。 我们随后将这种表述扩展到黎曼流形。坐标独立性的要求被证明会导致神经连接的规范对称性约束。书的第二部分对流形上的CNN进行了直观的介绍。第三部分用相关纤维束的语言对这些思想进行了形式化。 第四部分专注于特定流形上的应用和实例。它从微分几何的角度重新审视了欧几里得CNN，并涵盖了球面CNN和一般表面上的CNN。

在这本书《等变和坐标独立的卷积网络》中，我们开发了一种用于处理空间结构化数据（如图像、音频或视频）的人工神经网络的规范理论。这类数据的标准神经网络架构是卷积网络，其特点是位置独立的推理。卷积网络在空间位置上概括学习的内容，与非卷积模型相比，它们在数据效率和鲁棒性方面都有显著提高。这一特性在医学成像等培训数据稀缺的领域尤为重要。

空间位置的独立性被网络的平移群等变性正式捕捉，即它们与输入信号的平移交换的属性。我们展示了卷积网络设计不仅仅是平移等变性的充分条件，实际上是必要条件 - 因此可以通过要求模型的等变性来推导卷积。这项工作的第一部分利用这一洞见来定义在更大对称群下等变的广义卷积网络。

这类模型在附加的几何变换上推广了它们的推理，例如图像中模式的旋转或反射。我们通过实证展示，与传统卷积网络相比，它们在数据效率、收敛速度和最终性能上都有显著提高。我们公开可用的实现在研究社区得到了广泛应用。

在第二部分中，我们进一步扩展卷积网络以处理黎曼流形上的信号。除了平面欧几里得图像外，这种设置还包括例如地球表面上全球天气模式的球面信号，或动脉壁或大脑皮层等一般表面上的信号。我们展示了如果要求网络推理坐标独立，则流形上的卷积核需要在局部规范变换下等变。结果产生的坐标独立网络被证明是与流形的全局对称性（等距）等变的。

我们的目标不是为狭窄的应用领域提出又一个等变网络设计，而是为卷积网络设计一个统一的数学框架。这本书的最后部分通过展示我们的微分几何公式化的卷积网络能够解释文献中大量等变网络架构，来证明我们公式化的通用性。