TKDE 2020 | CTRR：组稀疏约束的紧凑张量环回归

会员服务 ·

TKDE 2020 | CTRR：组稀疏约束的紧凑张量环回归

2020 年 12 月 7 日 PaperWeekly

论文标题：

Smooth Compact Tensor Ring Regression

论文作者：

Jiani Liu, Ce Zhu, Yipeng Liu

论文链接：

https://ieeexplore.ieee.org/document/9253557

论文代码：

https://github.com/liujiani0216/SCTRR

摘要

随着数字影像设备的快速普及和发展，涌现了大量高阶数据，如光学视频，医学图像等。高阶数据相关的学习任务中，如何对高阶的回归系数进行高效的近似是一个关键问题。低秩张量近似是其中一个方法。作为一种新的张量分解，张量环已经被证明可以建模更多多维数据的相关信息。但是，其最优的张量环秩通常是未知的，需要从多种组合中进行经验选择。

为弥补这一缺陷，我们提出了一种新的张量回归模型。通过对张量环分解的潜在因子施加组稀疏约束，以此来实现张量环秩的自动估计，从而获得高效紧凑的表示。此外，引入总变差约束项确保预测响应的局部一致性，以减少随机噪声所带来的不利影响。

在仿真数据集上的实验表明，该方法能够在学习过程中更准确地推断张量环秩，平衡预测误差和模型复杂性。并且在人体运动轨迹捕捉任务的对比实验进一步验证了该算法的有效性和稳健性。

研究背景

随着大量高维数据的出现，与其相关的数据分析技术逐渐成为了研究热点。多线性回归作为解决涉及高维数据学习任务的关键技术，广泛应用于社会科学、气候科学和神经科学。

多线性回归模型的核心思想是保留数据的原始形式，通过张量积形式反应多维数据之间的相关关系。鉴于数据自身的结构特征，通常假设多维数据之间的回归系数张量满足低秩性或者稀疏性。其通用的优化方案有两种，一种基于秩最小化模型，一种是给定秩的张量因子化模型。

对于给定秩的张量因子化模型，一个最大的挑战便是张量秩的预估。尤其是Tucker 秩，张量链或张量环秩等多线性秩，其预估需要从大量的组合之中进行选取，耗费大量时间。因而，本文以张量环分解为例，引入了一种组稀疏约束项，可以在训练过程中实现对张量环秩的自适应，从而实现模型复杂度和性能的平衡。

符号定义和描述

在对本文的方法进行描述之前，首先需要简要定义与多线性回归相关的各个概念。对张量

\mathcal{A}\in \mathbb{R}^{I_{1}\times \cdots \times I_{N}}

，其中

i_{1},...,i_{N}

个元素表示为

\mathcal{A}\left [ i_{1}\cdots i_{N} \right ]

。

定义1（张量收缩积）

给定张量

\mathcal{A}\in \mathbb{R}^{I_{1}\times \cdots \times I_{M}\times J_{1}\times J_{N}}

和

\mathcal{B}\in \mathbb{R}^{J_{1}\times \cdots \times J_{N}\times K_{1}\times K_{L}}

，它们沿着共有

J_{1},...,J_{N}

维度的张量收缩积表示为

\mathcal{C}= \mathcal{A}*\mathcal{B}\in \mathbb{R}^{I_{1}\times \cdots I_{M}\times K_{1}\times \cdots \times K_{L}}

，如图1所示。

▲ 图1 张量收缩积

定义2（张量环分解）

张量环分解是流行张量网络的一种，它将张量分解为环状网络形式，如图 2 所示。其对应的数学表达形式为：

其中，

\mathcal{G}^{(n)}\in \mathbb{R}^{S_{n-1}\times I_{n}\times S_{n}}

n=1,\cdots,N

，

[S_{1},\cdots,S_{N}]

是张量环秩。

▲ 图2 张量环分解

定义3（张量环回归）

给定训练样本

\left \{ \mathcal{X}_n,\mathcal{Y}_n \right \},n=1,...,N

，则张量回归模型通常表示为

\mathcal{Y}=f\left ( \mathcal{X};\mathcal{W},\mathcal{\varepsilon }\right )= \mathcal{X}*\mathcal{W}+\mathcal{\varepsilon }

，

其中

\mathcal{Y}\left [ n,:,\cdots ,: \right ]=\mathcal{Y}_{n}\in \mathbb{R}^{Q_{1}\times \cdots \times Q_{M}}

，

\mathcal{X}\left [ n,:,\cdots ,: \right ]=\mathcal{X}_{n}\in \mathbb{R}^{P_{1}\times \cdots \times P_{L}}

，

\mathcal{W}\in \mathbb{R}^{P_{1}\times \cdots \times P_{L}\times Q_{1}\times \cdots \times Q_{M}}

表示

\mathcal{X}

和

\mathcal{Y}

的相关关系，

\mathcal{E}\in \mathbb{R}^{N\times Q_{1}\times \cdots \times Q_{M}}

是偏差。对系数张量进行张量环分解

\mathcal{W}= \Re \left (\mathcal{U}^{\left ( 1 \right )},\cdots ,\mathcal{U}^{\left ( L+M \right )} \right )

，便可以得到张量环回归模型，如图3所示。

▲ 图3 张量环回归

算法描述

根据已经定义的符号和概念，我们给出了一个新的回归模型，将数据拟合项、用于秩自推断的组稀疏约束项、用于平滑预测结果的全变差约束项整合在一起，如下式所示：

其中，

\Re (\mathcal{U})

表示

\Re \left (\mathcal{U}^{\left ( 1 \right )},\cdots ,\mathcal{U}^{\left ( L+M \right )} \right )

，第一项

\left \| \mathcal{Y}-\mathcal{X}*\Re\left ( \mathcal{U} \right )\right \|_{F}^{2}

是数据拟合项，

\mathfrak{S}(\mathfrak{R}(\mathcal{U}))

是组稀疏项，

\mathfrak{T}(\mathcal{X}*\Re (\mathcal{U}))

是全变分项。

（1）组稀疏项

\mathfrak{S}(\mathfrak{R}(\mathcal{U}))

估计系数张量

\mathcal{W}

的张量环秩

[R_1,\cdots,R_{L+M}]

，需要对每一个

R_k

进行估计。而如图 3 所示，

R_k

仅与其相邻的两个因子张量

\mathcal{U}^{(k)}

和

\mathcal{U}^{(k+1)}

直接相关。这促使我们提出以下组稀疏约束项：

其中，

\mathcal{U}_{:,:,\alpha_{k}}^{(k)}

是

\mathcal{U}^{(k)}

的第

\alpha_{k}

个前向切片，

\mathcal{U}_{\alpha_{k},:,:}^{(k+1)}

是

\mathcal{U}^{(k+1)}

的第

\alpha_{k}

个水平切片。基于交替最小化思想，我们可以依次对每一个张量环秩进行优化。具体来说，以一个 3 阶系数张量为例：

▲ 图4 3阶系数张量的张量环分解形式

其优化图解如图 5 所示：

▲ 图5 组稀疏项图解

（2）全变分项

\mathfrak{T}(\mathcal{X}*\Re (\mathcal{U}))

为确保张量输出的局部一致性，我们对预测的结果进行全变差约束，如下式所示：

在本文中，我们分别给出了

\lambda _{2}= 0

和

\lambda _{2}\neq 0

时的算法，分别为 CTRR 和 SCTRR。这里仅给出 CTRR 的算法流程，其优化思想主要来源于迭代加权最小二乘算法。

实验

4.1 仿真数据

（1）在仿真数据集上验证 CTRR 在不同条件下（不同信噪比, 不同样本量，不同大小和张量环秩的回归系数张量）的预测性能（Q^2）和张量环秩推断的准确性（REE）。实验结果如图6所示：

▲ 图6 CTRR 在不同条件下生成的仿真数据集上的表现

（2）为更直观地观察所提算法对回归系数张量估计的准确性，我们利用不同形状的图片作为回归系数张量，构建仿真数据，在不同信噪比条件下，CTRR 对回归系数图像的重建如图 7 所示。

▲ 图7 CTRR在shape数据集上的表现

4.2 人体行为轨迹重建实验

这里在人体行为轨迹重建的数据集 UMPM 上验证所提算法的有效性，实验结果如表 1 所示：

▲ 表1 CTRR和SCTRR在UMPM数据集上的性能

结论

为了克服张量回归中张量环秩估计这一困难，本文提出了一种基于组稀疏约束的紧凑张量回归模型，将张量秩最小化问题放缩为带有组稀疏约束的张量环低秩近似问题。在仿真数据集上的实验验证了 CTRR 可以在训练过程中对回归系数张量的张量环秩进行推断，以获得紧凑的低秩近似。同时，在真实数据集上的实验说明了引入局部平滑约束可以提高模型的预测性能并改善预测的视觉效果。

CTRR 将张量秩推断这一离散参数的调节问题转换为稀疏项的连续参数调节问题，提高了算法的稳健性。未来，我们将进一步探索如何实现该算法参数的自动调节问题，开发更加实用有效的张量学习方法与应用。

参考文献

[1] W. Guo, I. Kotsia, and I. Patras, “Tensor learning for regression,” IEEE Transactions on Image Processing, vol. 21, no. 2, pp. 816–827, 2012.

[2] E. F. Lock, “Tensor-on-tensor regression,” Journal of Computational and Graphical Statistics, vol. 27, no. 3, pp. 638–647, 2017.

[3] J. Liu, C. Zhu, Z. Long, H. Huang and Y. Liu, “Low-Rank Tensor Ring Learning for Multi-linear Regression,” Pattern Recognition, pp. 107753, 2020.

[4] Y. Liu, J. Liu, and C. Zhu, "Low Rank Tensor Train Coefficient Array Estimation for Tensor-on-Tensor Regression," IEEE Transactions on Neural Networks and Learning Systems, 2020.

[5] X. Li, Y. Ye, and X. Xu, “Low-rank tensor completion with total variation for visual data inpainting,” in Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[6] I. Daubechies, R. DeVore, M. Fornasier, and C. S. Gunturk, “Iteratively reweighted least squares minimization for sparse recovery,” Communications on Pure and Applied Mathematics, vol. 63, no. 1, pp. 1–38, 2010.

[7] M. Zhu and T. Chan, “An efficient primal-dual hybrid gradient algorithm for total variation image restoration,” UCLA CAM Report, 08-34, 2008.

更多阅读