18-13期VALSE Webinar会后总结

2018 年 5 月 21 日 VALSE

青岛大学彭冲老师2018年5月16日VALSE Webinar 成功举办。

彭冲，青岛大学计算机科学技术学院讲师，入选青岛大学青年卓越人才，于2017年获得南伊利诺伊大学计算机科学博士学位。研究方向为机器学习，模式识别，数据挖掘。已在ACM TKDD，TIST，KDD，CIKM，AAAI，IEEE TGRS，CVPR，ICDM，ICDE等国际期刊会议上发表论文20余篇。

彭冲老师Webinar的题目为：Low-rank Modeling for Data Representation.

在报告中，彭老师首先介绍了低秩模型在大规模数据表示中的发展与应用，在介绍鲁棒主成分分析时指出传统刻画低秩模型的核范数不够精确，从而提出了非凸对数行列式低秩逼近模型，并将模型中低秩矩阵分解为三个矩阵相乘的表达形式，通过实验验证了所提方法的鲁棒性和高效性。进一步，彭老师回顾了子空间聚类问题研究的发展历程，并指出传统方法面对二维数据时将二维数据直接列向量化会带来数据空间结构信息的损失，从而影响算法的性能。针对上述不足，彭老师提出采用投影的方式对二维数据进行特征学习，并分别从行与列两个角度进行双边投影，从而达到有效保留二维数据的空间结构信息的目的。进一步，彭老师通过实验验证了所提的结合投影与流形构造的双边二维聚类方法的有效性。基于这一思想，彭老师给出了更加普遍的针对二维数据聚类的二维K均值算法。

问答部分：

问题1：如何界定一个图像或一个物体具有低秩属性？具有高秩属性的图像，如存在缺失现象，应如何恢复，现有何方法可以解决？

回答：在图像处理问题中，图像的秩可以简单理解为图像所包含的信息丰富程度，图像由于局部分块之间的相似性、重复性，往往具有低秩的属性；图像的秩比较高，可能是因为图像噪声的影响，通过低秩的限制，应该能够很好的达到去燥的效果。

问题2：VR3及NVR3的代码有公开吗？

回答：VR3和NVR3的代码都有公布，目前在ResearchGate上都能够找到，大家通过邮箱可以免费注册下载。将来会完善个人主页，方便下载代码。下面是代码链接：

https://www.researchgate.net/publication/315760668_NVR3_code_pub

问题3：请问岭回归问题是有全局最优解对吗？该方法为什么在人脸subject增加的时候保持了较好的准确率？子空间聚类目前有哪些比较新的数据库？

回答：是的，岭回归问题是凸的，有全局最优解。该方法在人脸subject增加是能够保持较高的准确率，我们认为原因来自于在对二维数据学习时保存了数据的固有二维空间结构信息，使得该算法有优于对比算法的表现。

问题4：r1+r2=r, r是直接凭经验给定的吗？

回答：r的值是凭经验给定。通过经验可以看到，r的值设定为比较小的值即可，同时r1和r2将在给定的r值下通过最优化决定。

问题5：高次元数据的流型大概维度是多少？

回答：我们目前还没有考虑过这个问题。有人测定MNIST数据分布在一个6维流形上，这个数值可以作为一个参考。

问题6：这样的思想可以用在图像分类上吗？

回答：可以的。我们在实验中使用的正是两类图像数据，包括人脸数据和手写字母数据。对于其他类型的图像数据，我们的方法应该也是适用的。

问题7：针对背景变化的场景前景背景分离，该方法的适用性如何？

回答：在前景后景分离中，我们的算法将移动的背景视为移动目标，并没有区分动态背景。我们提出的方法能够在多种应用中发挥作用，但是该方法并不是针对场景前景后景分离而专门设计，所以并没有考虑到动态背景和静态背景方面的细节问题。后期的研究中可以通过考虑将相应的模块添加到算法中来，将算法改造为专门针对前景后景的算法。

问题8：low rank的模型如何和NMF结合呢？

回答：NMF在本质上也是一种矩阵分解的方法，那么通过矩阵分解，自然的就能够产生low rank的性质。例如我们在第一部分所讲的RPCA中使用了矩阵分解的方式，在提升了速度的同时，其实也对L的秩起到了限制的作用。关于low rank和低秩的问题,我们在Robust graph regularized nonnegative matrix factorization for data representation中也提到这一点，有兴趣可以参考一下。

问题9：彭老师您好，请问Subspace clustering via variance regularized ridge regression 这个方法可以用在半监督学习中去么？

回答：目前很多无监督学习的方法都被扩展至解决半监督学习问题，通过适当的调整，VR3和NVR3应该也能够应用于半监督学习问题。

问题10：彭老师 VR3的方法只得到了投影矩阵P和Q以及表示系数Z 您方法中聚类的准则是什么具体怎么使用P\Q\Z来聚类呢？

回答：实际上学习P、Q、Z只是第一步。SSC、LRR、和VR3被称为基于谱聚类的子空间聚类算法，原因在于他们都需要使用谱聚类来完成最后的聚类。具体做法是通过将Z转换称为仿射矩阵，通过谱聚类对仿射矩阵产生类别结构。具体可以参考文章中内容。

问题11：聚类学习，挑选最值得信任的样本加入已标记样本阵营？

回答：聚类学习属于无监督学习，数据本身并没有任何的标记。聚类学习的目标是通过学习数据的结构信息，将数据归纳为若干个组，使得每一个组中的样本来自于同一个群体/类。无监督学习能够解决大规模数据下标记成本高昂的问题。

问题12：请问右乘P矩阵和左乘q矩阵的初衷是如何想到的呢？motivation怎么来的呢？

回答：这个想法来自于2DPCA。因为传统的PCA也是将2D数据向量化，这样损失了数据的二维空间信息。联想到子空间聚类的重要应用中都会涉及到图像（二维）数据，由此得到了将子空间聚类扩展到二维数据上的想法。

问题13：能解释一下low rank为什么可以用您提出的近似，与nuclear norm优劣势是什么？

回答：low rank通过最小化矩阵的秩来获得，作为秩函数最紧致的凸近似，nuclear norm被广泛使用。Nuclear norm的定义为矩阵奇异值的加和，当矩阵中的奇异值很大时，nuclear norm对秩的近似偏差将会很大。一个简单的例子：一个矩阵有两个非零奇异值，分别等于100和100，那么矩阵的秩=2，nuclear norm=100+100=200，近似效果很差。使用logdet的近似方法，可以得到logdet=log(1+10)+log(1+10)约等于5，近似效果有显著改善。在低秩优化的问题中，我们当然希望对秩的近似更加精确的情况下进行优化以保证得到低秩的结果。

问题14：对于2D K-means的实验，Yale，ORL 加了噪声效果也不错，对比的方法是用加噪声的数据，还是不加噪声的数据？

回答：不同的算法应该使用相同的数据。那么我们在ORL数据上加上了噪声，要求所有的算法都要经过该数据进行测试；类似的，如果数据没有加噪声，那么所有的算法也应该在相同的数据上进行测试。

问题15：low rank如何和multi-view learning结合呢？

回答：可以考虑class structure和view-variance的低秩结构，可以参考文献Robust Multi-View Subspace Learning through Dual Low-Rank Decompositions, AAAI 2016。

问题16：2D方法是提取数据中的垂直和水平特征，与张量方法相比，似乎空间的信息损失的多一些，2D方法与张量方法相比，有什么不足？

回答：目前我们提出的方法从水平和垂直方向提取二维数据的特征。实际上我们在Integrate and Conquer: Double-Sided Two-Dimensional K-Means Via Integrating of Projection and Manifold Construction这篇文章中提出了一些研究前景，可以通过对二维数据任意角度进行投影，我想这种方式应该能够解决问题中提到的缺陷。

问题17：彭老师您主页上没找到联系方式能留一下您的邮箱吗？

回答：pchong1991@163.com。欢迎交流。

问题18：2D k-means 实验使用的距离矩阵是什么？

回答：我们使用的是欧氏距离，这从目标函数上也能够体现。当然在得到V矩阵之后，还需要用K-means产生最终的类别信息。

问题19：如何判断一个数据集是single subspace的还是multiple subspace的呢？

回答：通常情况下数据集往往是multiple subspace。当然这也要看具体的应用有什么具体的需求。

问题20：为什么Tr(ZLZ) 能够引入非线性的保持？

回答：可以参考文献中关于Graph Laplacian的介绍。实际上Tr(ZLZ)可以写成 \sum w_{ij} \|z_i - z_j\|，其中w_{ij}代表x_i和x_j的相似性。通过最小化这一项，我们可以保证当x_i和x_j相似性大（w_{ij}大）时， \|z_i - z_j\|要小，即z_i和z_j差异小，也等价于相似性高，这样就保证了相似性度量在数据和新的表达系数之间的平滑性。如果我们采用非线性的方式定义w_{ij}，例如使用kernel技术，那么数据的非线性相似性就能够通过z_i和z_j之间的相似性来反映，从而达到了非线性结构学习的目的。

录像视频在线观看地址：

http://www.iqiyi.com/u/2289191062

特别鸣谢本次Webinar主要组织者：

VOOC责任委员：张健（King Abdullah University of Science and Technology）

VODB协调理事：郑海永（中国海洋大学）

活动参与方式：

1、VALSE Webinar活动依托在线直播平台进行，活动时讲者会上传PPT或共享屏幕，听众可以看到Slides，听到讲者的语音，并通过聊天功能与讲者交互；

2、为参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ群（目前A、B、C、D、E、F、G群已满，除讲者等嘉宾外，只能申请加入VALSE H群，群号：701662399）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、在活动开始前5分钟左右，讲者会开启直播，听众点击直播链接即可参加活动，支持安装Windows系统的电脑、MAC电脑、手机等设备；

4、活动过程中，请不要说无关话语，以免影响活动正常进行；

5、活动过程中，如出现听不到或看不到视频等问题，建议退出再重新进入，一般都能解决问题；