【速览】TSP 2022 | TS4LRTC：基于可训练子空间的张量缺失成分复原方法

2022 年 6 月 22 日 中国图象图形学学会CSIG

学会“成果速览”系列文章旨在将图像图形领域会议期刊重要成果进行传播，通过短篇文章让读者用母语快速了解相关学术动态，欢迎关注和投稿~

◆ ◆ ◆ ◆

TS4LRTC：基于可训练子空间的张量缺失成分复原方法

龙珍

^{1}

, 朱策

^{1}

, 刘佳妮

^{1}

,Pierre Comon

^{2}

, 刘翼鹏

^{1}

^{1}

电子科技大学，

^{2}

Université Grenoble Alpes

TSP 2022

撰稿人：龙珍

*通讯作者：朱策，刘翼鹏

推荐理事：林宙辰

原文标题：Trainable Subspaces for Low Rank Tensor Completion: Model and Analysis

原文链接：https://ieeexplore.ieee.org/abstract/document/9772336

论文代码：https://github.com/longzhen520/TS4LRTC

◆ ◆ ◆ ◆

1. 摘要

低秩张量补全可以从有限的观测集中恢复在获取、传输、转换等过程丢失的数据项。这使得张量补全在多个应用场景中有推广前景，例如知识图谱获取、交通流量预测、气候数据分析、推荐系统、多任务学习、图像和视频复原等。然而能否成功恢复数据在很大程度上取决于样本复杂度，即成功恢复丢失元素所需的最少观测集。

本文考虑了在辅助数据的帮助下，通过降低样本复杂度，进而提高数据恢复性能，任务模型如图1所示。因此，我们提出了一种基于可训练子空间的张量补全方法TS4LRTC来实现数据复原。具体来说，首先通过字典学习从辅助数据中获取子空间。然后假设待恢复的张量数据由两个低秩成分组成，其中一个成分与辅助数据共享子空间信息，另一个成分在共享子空间之外，来实现利用训练好的子空间信息完成张量补全任务，如图2所示。另外，我们定量分析了子空间信息对样本复杂度的影响，并从理论上给出了子空间信息的有用性。最后，在模拟实验上验证了子空间信息对样本复杂度的影响。基于彩色图像和多光谱图像复原的实验表明，本文所提出的方法在恢复精度和时间复杂度方面优于最先进的方法。

图 1 考虑到辅助数据帮助下的张量补全模型

图 2 可训练子空间的张量补全框架

2. 背景

张量是矩阵的多维扩展，为多维数据提供了自然的表示形式。探索张量的内部结构可以帮助我们在处理高维数据时获得更多的潜在信息。例如，多光谱图像(MSI)是三阶张量，通过张量表示，MSI的光谱和空间信息可以同时被索。

数据在采集、传输、转换等过程中，往往会存在缺失项，张量补全可以通过假设待恢复的数据具有低秩的结构信息，进而实现数据的复原。在辅助数据的帮助下，恢复性能会得到进一步提高。现有的大多数方法，包括耦合矩阵张量分解模型和耦合张量秩最小化模型，主要考虑如何提取和利用子空间信息或直接使用辅助数据进行数据补全，其中子空间信息主要指辅助数据和缺失数据的潜在的共享成分。然而，这些方法要么对给定的秩参数敏感，要么对子空间信息缺乏物理解释。此外，共享子空间信息在当前的张量补全方法中关注较少，尤其是没有分析其对样本复杂度的影响。

因此，关于使用子空间信息进行低秩张量补全，自然会出现以下三个问题：

1. 如何从缺失数据和辅助数据中有效地探索子空间信息？

2. 使用什么样的优化模型才能更好地利用子空间信息实现张量补全？

3. 如何衡量子空间信息对张量补全的影响？

3. 符号定义和基础知识

首先，我们简单介绍一下本文中用到的一些符号定义。我们分别用 $x,\mathbf{x},\mathbf{X},\mathcal{X}$ 来表示标量，向量，矩阵，张量。

定义1:模-n积

张量 $\mathcal{X}\epsilon \mathbb{R}^{I_{1}\times ...\times I_{d}\times ...\times I_{D}}$ 与矩阵 $\mathbf{Y}\epsilon \mathbb{R}^{I_{d}\times J}$ 的模-n积定义为： $\mathcal{Z}=\mathcal{X}\times _{d}\mathbf{Y}\epsilon \mathbb{R}^{I_{1}\times ...\times J\times ...\times I_{D}}$ ，其中 $×_d$ 表示张量的第d阶索引与矩阵的第2阶索引的收缩积。

4. 可训练子空间的张量补全

4.1 模型说明

假设 $\mathcal{T}\epsilon \mathbb{R}^{I_{1}\times ...\times I_{D}}$ 为D阶缺失的数据，并且每一个模都有一个耦合的辅助数据 $M_{d}\epsilon \mathbb{R}^{I_{d}\times J_{d}}$ 。我们的目标是在辅助数据的帮助下，实现对缺失数据的复原。因此，本文提出了TS4LRTC算法，并展示了一个三阶张量的恢复框架，如图2所示。其优化模型如下：

其中 $\mathcal{Z}=\mathcal{G}\times _{1} A_{1}\times ...\times _{D}A_{D}$ 与辅助数据共享了子空间信息 $A_{1},...,A_{D}$ , $\lambda_{\mathcal{G}}$ 和 $\lambda_{\mathcal{Y}}$ 的比率表示 $\mathcal{Z}$ 和 $\mathcal{Y}$ 对重构 $\mathcal{X}$ 的贡献程度。当 $\lambda_{\mathcal{G}} =\propto$ ， $\mathcal{Z}$ 对 $\mathcal{X}$ 的重构没有影响，上述模型将退化成标准的张量补全模型。当 $\lambda_{\mathcal{Y}} =\propto$ ， $\mathcal{Y}$ 对 $\mathcal{X}$ 的重构没有影响，此时， $\mathcal{X}$ 与辅助数据完全共享子空间信息，该优化模型如下：

其中 $\mathcal{Z}=\mathcal{G}\times _{1} A_{1}\times ...\times _{D}A_{D}$ 。

4.2 子空间信息对张量补全模型的影响

我们通过理论分析，得到了所提方法在 $\left\|\mathcal{G} \right\|_{F}\leq G,\left\|\mathcal{Y} \right\|_{F}\leq Y$ 的情况下，样本复杂度为 $O\left ( \mathbf{max}\left ( R_{\mathcal{G}} \mathbf{log} K,R_{\mathcal{Y}}\mathbf{log}I \right ) \right )$ 。当 $\mathcal{X}$ 与辅助数据完全共享子空间信息，样本复杂度将减少到 $O\left ( R_{\mathcal{G}} \mathbf{log} K \right )$ ，其中 $\mathbf{K}\ll I$ 表示子空间的维度大小。在这样的情况下，当观测集很少的时候，恢复性能也会得到显著提高。

5. 实验结果

5.1 彩色图像数据

为了更直观的看出我们方法的优越性，我们提供了彩色图像复原的结果，其中测试集，结果图分别如图3、图4所示。

图 3 测试集，其中红外图像和深度图像为相应的辅助数据

图 4 在不同的采样率下，不同方法恢复图像的对比结果

5.2 多光谱图像数据

我们采用了大小为512×512×30的多光谱图像数据，其中512×512表示多光谱图像的空间分辨率，30表示多光谱图像的波段数。在这个实验中，我们采取后b个波段作为测试数据，剩下的数据中选取p个波段作为辅助数据，其中 $\mathbf{b}\epsilon \left\{5,10,15 \right\}$ , $\mathbf{p} \epsilon \left\{5,...,30-b \right\}$ 。我们提供了多光谱图像复原的结果，如图5、图6所示。

图 5 不同对比方法的恢复性能，其中针对Flowers和Toy多光谱图像，b分别设置成5和10。

图 6 不同对比方法的多光谱图像复原效果，其中b=15,p=15。

6. 结论

我们提出了一种基于可训练子空间的低秩张量补全模型。与当前具有子空间信息的张量补全模型不同，该模型首次考虑了一种数据驱动的方式来学习子空间信息，并在张量补全任务中提供了一种新的利用子空间信息的视角。这个想法也可能对其他张量处理技术有所帮助，例如张量分类、张量鲁棒主成分分析和张量回归。此外，我们给出了所提方法的样本复杂度并从理论上解释了子空间信息的有用性。仿真数据实验表明，子空间信息可以降低张量补全的样本复杂度，尤其在完全共享子空间信息的情况下，样本复杂度降低明显。此外，真实世界数据的实验表明，我们的算法在重构准确性和 CPU 时间方面优于最新算法。

7. 参考文献

[1] E. Acar, M. Nilsson, and M. Saunders, “A ﬂexible modeling framework for coupled matrix and tensor factorizations,” in Proc. IEEE 22nd Eur. Signal Process. Conf., 2014, pp. 111–115

[2] K. Wimalawarne and H. Mamitsuka, “Efﬁcient convex completion of coupled tensors using coupled nuclear norms,” in Proc. Adv. Neural Inf. Process. Syst., 2018, pp. 6902–6910.

[3] Z. Long, C. Zhu, J. Liu, and Y. Liu, “Bayesian low rank tensor ring for image recovery,” IEEE Trans. Image Process., vol. 30, pp. 3568–3580, 2021.