宾夕法尼亚大学：面向计算机视觉、机器人和机器学习的线性代数 - 附749页书籍PDF

导读

宾夕法尼亚大学计算逻辑研究院Jean Gallier等人昨日发布了一本长达749页的书籍，详细地列出了对机器学习等领域有重要意义的数学理论基础知识。真正想要在AI领域进行认真的研究并做出重大贡献，必须有坚实的线性代数和优化理论背景。本文附上本书电子版，希望各位AIer在创造价值的路上走得更远更好。

作者 | Jean Gallier, Jocelyn Quaintance

编译 | Xiaowen

Linear Algebra for Computer Vision, Robotics, and Machine Learning

近年来，计算机视觉、机器人、机器学习和数据科学一直是推动技术重大进步的一些关键领域。任何看过上述领域的论文或书籍的人都会被一个奇怪的术语所困扰，这些术语涉及核主成分分析、岭回归、lasso回归、支持向量机(SVM)、拉格朗日乘子、KKT条件等奇怪的术语。但人们很快就会发现，行话背后总是伴随着一个新的领域，背后隐藏着许多经典的“线性代数和优化理论技术”。我们面临的主要挑战是：要从机器学习、计算机视觉等方面了解和使用工具，必须具备线性代数和优化理论的坚实背景。

许多关于机器学习的书都与上述问题作斗争。如果你不知道拉格朗日二元框架，怎么能理解岭回归问题的对偶变量？同样，如果没有对拉格朗日框架的坚定理解，怎么可能讨论SVM的对偶公式呢？

最简单的办法是把这些困难都一一攻克。如果一个人仅仅是我们上面提到的技术的消费者，那么类似菜谱食谱方法可能就足够了。但是这种方法并不适用于那些真正想要进行认真的研究并做出重大贡献的人。要做到这一点，我们认为，一个人必须有坚实的线性代数和优化理论背景。

这是一个问题，因为它意味着投入大量的时间和精力研究这些领域，但我们相信，毅力将得到充分的回报。

我们的主要目标是介绍线性代数和优化理论的基本原理，同时考虑到机器学习、机器人和计算机视觉的应用。这项工作由两部分组成，第一个是线性代数，第二个优化理论和应用，尤其是机器学习。 

第一部分涉及经典的线性代数，包括主分解和Jordan形式。除了讨论标准的一些主题外，我们还讨论了一些对应用很重要的主题。这些主题包括：

1. Haar基和相应的Haar小波

2. Hadamard矩阵

3. Affine maps

4. 规范和矩阵规范

5. 向量空间中序列和序列的收敛性。矩阵指数e_A及其基本性质

6. The group of unit quaternions, SU(2), and the representation of rotations in SO(3) by unit quaternions 

7. 代数与谱图论简介

8. SVD和伪逆的应用，尤其是主成分分析

9. 特征值和特征向量的计算方法，重点是QR算法。

另外有比平常更详细介绍的四个主题：

1. Duality 

2. Dual norms

3. The geometry of the orthogonal groups O(n) and SO(n), and of the unitary groups U(n) and SU(n)

4. 谱理论

除了一些例外，我们提供了完整的证明。不过我们的建议是在读第一遍时忽略一些证明，尤其是漫长和复杂的证明。

篇幅有限，后文内容仅截取部分内容，完整内容请下载全文PDF：

获取全文PDF

请关注专知公众号（点击上方蓝色专知关注）

后台回复“LA4ML” 就可以获取宾夕法尼亚大学线性代数书籍PDF的下载链接。

 Contents

1 Introduction
2 Vector Spaces, Bases, Linear Maps 

3 Matrices and Linear Maps4 

4 Haar Bases, Haar Wavelets, Hadamard Matrices

5 Direct Sums, Affine Maps 

6 Determinants
7 Gaussian Elimination, LU, Cholesky, Echelon Form 
8 Vector Norms and Matrix Norms 

9 Iterative Methods for Solving Linear Systems 
10 The Dual Space and Duality 
11 Euclidean Spaces 
12 QR-Decomposition for Arbitrary Matrices 

13 Hermitian Spaces 
14 Eigenvectors and Eigenvalues
15 Unit Quaternions and Rotations in SO(3)
16 Spectral Theorems

17 Graphs and Graph Laplacians; Basic Facts
18 Spectral Graph Drawing
19 Singular Value Decomposition and Polar Form
20 Applications of SVD and Pseudo-Inverses
21 Computing Eigenvalues and Eigenvectors 

22 Annihilating Polynomials; Primary Decomposition 

-END-

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎登录www.zhuanzhi.ai，注册登录专知，获取更多AI知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

请加专知小助手微信（扫一扫如下二维码添加），加入专知人工智能主题群，咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成！560+位同学在学习，现在报名，限时优惠！网易云课堂人工智能畅销榜首位！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程