分布式算法与优化
·
计算机科学正在发展，以利用新的硬件，如GPU、TPUs、CPU和大型商品集群。许多子领域，如机器学习和优化，已经调整了它们的算法来处理这样的集群。
课程主题包括分布式和并行算法: 优化、数值线性代数、机器学习、图分析、流式算法，以及其他在商用集群中难以扩展的问题。该类将重点分析程序，并使用Apache Spark和TensorFlow实现一些程序。
本课程将分为两部分: 首先，介绍并行算法的基础知识和在单多核机器上的运行时分析。其次，我们将介绍在集群机器上运行的分布式算法。
地址： http://stanford.edu/~rezab/dao/
主讲：
Reza Zadeh是斯坦福大学计算与数学工程学院的客座教授，同时也是Matroid公司的CEO。他的主要工作集中于机器学习理论与应用，分布式计算，以及离散数学。
课程目录：
成为VIP会员查看完整内容
Lecture 1 (4/7): Introduction to Parallel Algorithms (PRAM Model, Work + Depth, Computation DAGs, Brent's Theorem, Parallel Summation)
Lecture 2 (4/9): Scalability, Scheduling, All Prefix Sum Reading: BB 5.
Lecture 3 (4/14): All Prefix Sum, Mergesort. Reading: KT 5, BB 8.
Lecture 4 (4/16): Divide and Conquer Algorithms, Master Theorem, Quick Selection, Quick Sort.
Lecture 5 (4/21): Quicksort, Matrix Multiplication (Strassen's Algorithm), Minimum Spanning Tree (Kruskal's Algorithm). Reading: KT 3, 4.5, 4.6.
Lecture 6 (4/23): Minimum Spanning Tree (Boruvka's Algorithm). Reading: CLRS 12, 13.
Lecture 7 (4/28): Solving Linear Systems, Intro to Optimization. Lecture 7.
Lecture 8 (4/30): Optimization for Machine Learning, HOGWILD!.
Lecture 11 (5/12): Introduction to Distributed Algorithms, Communication Networks, Cluster Computing, Broadcast Networks, and Communication Patterns
Lecture 12 (5/14): Distributed Summation, Simple Random Sampling, Distributed Sort.
Lecture 13 (5/19): Introduction to MapReduce, Sparse Matrix Multiplication using SQL, Sparse Matrix Multiplication in MapReduce.
Lecture 14 (5/21): Triangle Counting in MapReduce, Introduction to Spark and RDDs
Lecture 15 (5/26): Partitioning for PageRank; Optimization, Scaling, and Gradient Descent in Spark
Lecture 16 (5/28): Matrix Operations, and Singular Value Decomposition in Spark.
Lecture 17 (6/2): Covariance Matrices and All-pairs similarity
相关内容
专知会员服务
143+阅读 · 2019年12月10日
Arxiv
4+阅读 · 2017年11月15日
相关主题
相关VIP内容
专知会员服务
143+阅读 · 2019年12月10日
相关资讯
相关论文
Arxiv
4+阅读 · 2017年11月15日
微信扫码咨询专知VIP会员