资源｜数据科学的数学基础（免费书），赶紧下载！

“全球人工智能”拥有十多万AI产业用户，10000多名AI技术专家。主要来自：北大，清华，中科院，麻省理工，卡内基梅隆，斯坦福，哈佛，牛津，剑桥...以及谷歌，腾讯，百度，脸谱，微软，阿里，海康威视，英伟达......等全球名校和名企。

---

——免费加入AI高管投资者群>>

——免费加入AI技术专家社群>>

下载：https://mathematical-tours.github.io/book-sources/FundationsDataScience.pdf

1.Contents 1 Shannon Theory 

1.1 Analog vs. Discrete Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.1.1 Acquisition and Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

1.1.2 Linear Translation Invariant Sampler . . . . . . . . . . . . . . . . . . . . . . . . 

1.2 Shannon Sampling Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

1.3 Shannon Source Coding Theorem . . . . . . . . . . . . . . . . . . . . . . . . . 

2 Fourier Transforms 

2.1 Hilbert spaces and Fourier Transforms . . . . . . . . . . . . . . . . . . . . . . . 

2.1.1 Hilbertian bases. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.1.2 Fourier basis on R/2πZ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2 Convolution on R and T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

2.2.1 Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2.2 Translation Invariant Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.3 Revisiting Poisson formula using distributions. . . . . . . . . . . . . . . . . . . . . 2.3 Finite Fourier Transform and Convolution . . . . . . . . . . . . . . . . . . . . . . . . . .  2.3.1 Discrete Ortho-bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

2.3.2 Discrete Fourier transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

2.3.3 Fast Fourier transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

2.3.4 Finite convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.4 Discretisation Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.4.1 Fourier approximation via spatial zero padding. . . . . . . . . . . . . . . . . . 

2.4.2 Fourier approximation via spatial zero padding. . . . . . . . . . . . . . . . . . 

2.5 Fourier in Multiple Dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

2.5.1 On Continuous Domains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.5.2 On Discrete Domains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.5.3 Shannon sampling theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.5.4 Convolution in higher dimension. . . . . . . . . . . . . . . . . . . . . . . . . . .

2.6 Application to ODEs and PDEs . . . . . . . . . . . . . . . . . . . . . . . . . 

2.6.1 On Continuous Domains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.6.2 Finite Domain and Discretization . . . . . . . . . . . . . . . . . . . . . . . 

2.7 A Bit of Group Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.7.1 Characters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

2.7.2 More General cases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

2.8 A Bit of Spectral Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.8.1 On a Surface or a Manifold . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

2.8.2 Spherical Harmonics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.8.3 On a Graph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

3 Linear Mesh Processing 

3.1 Surface Discretization with Triangulated Mesh . . . . . . . . . . . . . . . .

3.1.1 Continuous Geometry of Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 

3.1.2 Discretization of Surfaces with Triangulations . . . . . . . . . . . . . . . . . . . .

3.2 Linear Mesh Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

3.2.1 Functions on a Mesh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

3.2.2 Local Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.2.3 Approximating Integrals on a Mesh . . . . . . . . . . . . . . . . . . . . . .

3.2.4 Example on a Regular Grid . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

 3.2.5 Gradients and Laplacians on Meshes . . . . . . . . . . . . . . . . . . . . . .

3.2.6 Examples in 1D and 2D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

3.2.7 Example of a Parametric Surface . . . . . . . . . . . . . . . . . . . . . . . . .

3.3 Diffusion and Regularization on Surfaces . . . . . . . . . . . . . . . . . . 

3.3.1 Heat Diffusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.3.2 Spectral Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

3.3.3 Spectral Theory on a Regular Grid . . . . . . . . . . . . . . . . . . . . . 

3.3.4 Spectral Resolution of the Heat Diffusion . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.3.5 Quadratic Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 3.3.6 Application to Mesh Compression . . . . . . . . . . . . . . . . . . . . .

3.3.7 Application to Mesh Parameterization . . . . . . . . . . . . . . . . . . . .

3.3.8 Application to Mesh Flattening . . . . . . . . . . . . . . . . . . . . . . 

4 Wavelets  

4.1 Multi-resolution Approximation Spaces . . . . . . . . . . . . . . . . . . . . . . 

4.2 Multi-resolution Details Spaces . . . . . . . . . . . . . . . . . . . . . . . . . .

4.3 On Bounded Domains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

4.4 Fast Wavelet Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.4.1 Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

4.4.2 Forward Fast Wavelet Transform (FWT) . . . . . . . . . . . . . . . . . . . . .

4.4.3 Inverse Fast Transform (iFWT) . . . . . . . . . . . . . . . . . . . . . . . . . 

4.5 2-D Wavelets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

4.5.1 Anisotropic Wavelets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

4.5.2 Isotropic Wavelets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

4.6 Wavelet Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.6.1 Low-pass Filter Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.6.2 High-pass Filter Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . 

4.6.3 Wavelet Design Constraints . . . . . . . . . . . . . . . . . . . . . . . . .

4.6.4 Daubechies Wavelets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 

5 Multiresolution Mesh Processing 

5.1 Semi-regular Meshes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.1.1 Nested Multiscale Grids. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.1.2 Semi-regular Triangulation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.1.3 Spherical Geometry Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.2 Subdivision Curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

5.3 Subdivision Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.3.1 Interpolation Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.3.2 Some Classical Subdivision Stencils . . . . . . . . . . . . . . . . . . .

5.3.3 Invariant Neighborhoods . . . . . . . . . . . . . . . . . . . . . . . 

5.3.4 Convergence of Subdivisions . . . . . . . . . . . . . . . . . . . . . . . .

5.4 Wavelets on Meshes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.1 Multiscale Biorthogonal Bases on Meshes . . . . . . . . . . . . . . . .

5.4.2 The Lifting Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.3 Imposing vanishing moments. . . . . . . . . . . . . . . . . . . . . . . 

5.4.4 Lifted Wavelets on Meshes . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.5 Non-linear Mesh Compression . . . . . . . . . . . . . . . . . . . . . . . 

6 Linear and Non-linear Approximation

6.1 Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

6.1.1 Approximation in an Ortho-basis . . . . . . . . . . . . . . . . . . . . . . . . . 

6.1.2 Linear Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.1.3 Non-linear Approximation . . . . . . . . . . . . . . . . . . . . . . . . . .

6.2 Signal and Image Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . 

6.2.1 Uniformly Smooth Signals and Images . . . . . . . . . . . . . . . . . . . . . 

6.2.2 Piecewise Regular Signals and Images . . . . . . . . . . . . . . . . . . . .

6.2.3 Bounded Variation Signals and Images . . . . . . . . . . . . . . . . . . . . 

6.2.4 Cartoon Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

6.3 Efficient approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.3.1 Decay of Approximation Error . . . . . . . . . . . . . . . . . . . . . . . . 

6.3.2 Comparison of bases. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.4 Fourier Linear Approximation of Smooth Functions . . . . . . . . . . . . . 

6.4.1 1-D Fourier Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . 

6.4.2 Sobolev Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.5 Wavelet Approximation of Piecewise Smooth Functions . . . . . . . . .

6.5.1 Decay of Wavelet Coefficients . . . . . . . . . . . . . . . . . . . . . . . . . . . 

6.5.2 1-D Piecewise Smooth Approximation . . . . . . . . . . . . . . . . . . . . 

6.5.3 2-D Piecewise Smooth Approximation . . . . . . . . . . . . . . . . . . . 

6.6 Cartoon Images Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 

6.6.1 Wavelet Approximation of Cartoon Images . . . . . . . . . . . . . . . . . . 

6.6.2 Finite Element Approximation . . . . . . . . . . . . . . . . . . . . . . . . . .

6.6.3 Curvelets Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

7 Compression

7.1 Transform Coding . . . . . . . . .

7.1.1 Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

7.1.2 De-coding . . . . . . . . . . . . . . . . . . . . . . . . . . 

7.1.3 Support Coding . . . . . . . . . . . . . . . . . . . . . .

7.2 Entropic Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

7.3 JPEG-2000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

8 Denoising 

8.1 Noise Modeling . . . . . . . . . . . . . . . . . . . . . . . . . 

8.1.1 Noise in Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

8.1.2 Image Formation . . . . . . . . . . . . . . . . . . . . . . . . . . .

8.1.3 Denoiser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

8.2 Linear Denoising using Filtering . . . . . . . . . . . . . . . . . . . . . . . 

8.2.1 Translation Invariant Estimators . . . . . . . . . . . . . . . . . . .

8.2.2 Optimal Filter Selection . . . . . . . . . . . . . . . . . . . 

8.2.3 Wiener Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . 

8.3 Non-linear Denoising using Thresholding . . . . . . . . . . . . . 

8.3.1 Hard Thresholding . . . . . . . . . . . . . . . . . . . . . 

8.3.2 Soft Thresholding . . . . . . . . . . . . . . . . . . . . . . .

8.3.3 Minimax Optimality of Thresholding . . . . . . . . . . . . . . . . . . . . . .

8.3.4 Translation Invariant Thresholding Estimators . . . . . . . . . . 

8.3.5 Exotic Thresholdings . . . . . . . . . . . . . . . . . . . . . . .

8.3.6 Block Thresholding . . . . . . . . . . . . . . . . . . .

8.4 Data-dependant Noises . . . . . . . . . . . . . . .

8.4.1 Poisson Noise . . . . . . . . . . . . . . 

8.5 Multiplicative Noise . . . . . . . . . . . . . . . . . . . . 

9 Variational Priors and Regularization 

9.1 Sobolev and Total Variation Priors . . . . . . . . . . . . . . . .

9.1.1 Continuous Priors . . . . . . . . . . . . . . . . . . . . . . . . .

9.1.2 Discrete Priors . . . . . . . . . . . . . . . . . . . . . .

9.2 PDE and Energy Minimization . . . . . . . . . . . . . . . 

9.2.1 General Flows . . . . . . . . . . . . . . . . . . . . . 

9.2.2 Heat Flow . . . . . . . . . . . . . . . . . . . . . . . . . .

9.2.3 Total Variation Flows . . . . . . . . . . . . . . . .

9.2.4 PDE Flows for Denoising . . . . . . . . . . . . . . . .

9.3 Regularization for Denoising . . . . . . . . . . . . . . . . . . . 

9.3.1 Regularization . . . . . . . . . . . . . . . . . . . . .

9.3.2 Sobolev Regularization . . . . . . . . . . . . . . . .

9.3.3 TV Regularization . . . . . . . . . . . . . . . . . . .

10 Inverse Problems 

10.1 Inverse Problems Regularization . . . . . . . . . . . . . . . . . . 

10.2 Theoretical Study of Quadratic Regularization . . . . . . 

10.2.1 Singular Value Decomposition . . . . . . . . . . . . . . . 

10.2.2 Tikonov Regularization . . . . . . . . . . . . . . . . . . . 

10.3 Numerical Resolution of Regularization . . . . . . . . . . . . . . .

10.3.1 L2 regularization . . . . . . . . . . . . . . . . . . .

10.3.2 Sobolev Regularization . . . . . . . . . . . . . . . . . . .

10.3.3 Total Variation Regularization . . . . . . . . . . . . . . . . . . . 

10.4 Example of Inverse Problems . . . . . . . . . . . . . . . . . . . .

10.4.1 Deconvolution . . . . . . . . . . . . . . . . . . . . . . . .

10.4.2 Inpainting . . . . . . . . . . . . . . . . . . . . . . . . . . . 

10.4.3 Tomography Inversion . . . . . . . . . . . . . . . . . . . . . 

11 Sparse Regularization

11.1 Sparsity Priors . . . . . . . . . . . . . . . . . . . .

11.1.1 Ideal sparsity prior. . . . . . . . . . . . . . . 

11.1.2 Convex relaxation . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11.1.3 Sparse Regularization and Thresholding . . . . . . . . . . . . . 

11.2 Sparse Regularization of Inverse Problems . . . . . . . . . .

11.3 Proximal Gradient Algorithm . . . . . . . . . . . . . . . . . .

11.4 Example: Sparse Deconvolution . . . . . . . . . . . . .

11.4.1 Sparse Spikes Deconvolution . . . . . . . . . . . . . . . . . . . . . . 

11.4.2 Sparse Wavelets Deconvolution . . . . . . . . . . . . . . . . . . .

11.4.3 Sparse Inpainting . . . . . . . . . . . . . . . . . . . . . . . 

进入全球人工智能学院

热门文章推荐

厉害｜黄仁勋狂怼CPU:摩尔定律已死 未来属于GPU!

干货｜7步让你从零开始掌握Python机器学习！

华裔女科学家钱璐璐，发明仅20纳米的DNA机器人！

Geoffrey Hinton提出capsule 概念，推翻反向传播！

2017年7大最受欢迎的AI编程语言：Python第一!

重磅｜中国首家人工智能技术学院在京揭牌开学！

厉害 | 南京大学周志华教授当选欧洲科学院外籍院士！

5个月市值涨了1200亿，首次突破3100亿市值！

华为扔下这枚“AI芯弹”，全世界的智能手机都卡（慢）死了！

用57行代码搞定花8000万美元采购车牌识别项目