This is a detailed tutorial paper which explains the Principal Component Analysis (PCA), Supervised PCA (SPCA), kernel PCA, and kernel SPCA. We start with projection, PCA with eigen-decomposition, PCA with one and multiple projection directions, properties of the projection matrix, reconstruction error minimization, and we connect to autoencoder. Then, PCA with singular value decomposition, dual PCA, and kernel PCA are covered. SPCA using both scoring and Hilbert-Schmidt independence criterion are explained. Kernel SPCA using both direct and dual approaches are then introduced. We cover all cases of projection and reconstruction of training and out-of-sample data. Finally, some simulations are provided on Frey and AT&T face datasets for verifying the theory in practice.


翻译:这是一份详细的指导性文件,解释了主要成分分析(PCA)、受监督的五氯苯甲醚(SPCA)、五氯苯甲醚(CPCA)、内核和内核的SPCA。我们从投影开始,五氯苯甲醚(Eigen分解),五氯苯甲醚(CPA),具有一个和多个投影方向,投影矩阵的特性,重建误差最小化,并与自动编码连接。然后,覆盖具有单值分解的五氯苯甲醚(CPA)、双倍五氯苯甲醚(CPA)和内核五氯苯甲醚(CPA),解释使用评分和Hilbert-Schmidt独立性标准的SPCA。然后采用直接和双重方法的Kernel SPCA(Kernel SPCA),我们涵盖所有预测和重建培训和外体数据的案例。最后,在Frey和AT&T上提供了一些模拟数据,以核实实际理论。

0
下载
关闭预览

相关内容

在统计中,主成分分析(PCA)是一种通过最大化每个维度的方差来将较高维度空间中的数据投影到较低维度空间中的方法。给定二维,三维或更高维空间中的点集合,可以将“最佳拟合”线定义为最小化从点到线的平均平方距离的线。可以从垂直于第一条直线的方向类似地选择下一条最佳拟合线。重复此过程会产生一个正交的基础,其中数据的不同单个维度是不相关的。 这些基向量称为主成分。
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
33+阅读 · 2021年1月20日
专知会员服务
39+阅读 · 2020年12月14日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
99+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
61+阅读 · 2019年10月10日
征稿 | CFP:Special Issue of NLP and KG(JCR Q2,IF2.67)
开放知识图谱
1+阅读 · 4月4日
ACM MM 2022 Call for Papers
CCF多媒体专委会
3+阅读 · 3月29日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium5
中国图象图形学学会CSIG
0+阅读 · 2021年11月11日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
12+阅读 · 2019年4月13日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【推荐】SVM实例教程
机器学习研究会
16+阅读 · 2017年8月26日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 8月16日
Arxiv
21+阅读 · 2021年3月20日
VIP会员
相关VIP内容
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
33+阅读 · 2021年1月20日
专知会员服务
39+阅读 · 2020年12月14日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
99+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
61+阅读 · 2019年10月10日
相关资讯
征稿 | CFP:Special Issue of NLP and KG(JCR Q2,IF2.67)
开放知识图谱
1+阅读 · 4月4日
ACM MM 2022 Call for Papers
CCF多媒体专委会
3+阅读 · 3月29日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium5
中国图象图形学学会CSIG
0+阅读 · 2021年11月11日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
12+阅读 · 2019年4月13日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【推荐】SVM实例教程
机器学习研究会
16+阅读 · 2017年8月26日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员