标准机器学习方法简介。允许您找到适合您的应用程序的问题/方法。为更深入的学习提供必要的词汇和工具。促进ML的良好实践、解释和重现性。

成为VIP会员查看完整内容
0
29

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

深度学习的研究在许多机器学习任务上产生了最先进的结果。大多数的进步都是由直觉和通过试验和错误进行的大规模探索推动的。因此,目前理论落后于实践。ML社区并不完全理解为什么最好的方法是有效的。来自UIUC Matus Telgarsky教授撰写了关于深度学习理论笔记,值得关注。

地址: https://mjt.cs.illinois.edu/dlt/

这些笔记的哲学。两个关键的观点决定了到目前为止所包含的内容。

我的目标是对文献中出现的东西提供简化的证明,理想情况下,把困难的东西简化成适合一节课的东西。

我主要关注通过标准(通常是ReLU)前馈网络实现IID数据的二进制分类的低测试误差。

内容组织:

近似 (从第1节开始): 给定一个分类问题,存在一个深度网络,在分布上实现低误差。

优化 (从第9节开始): 对于一个分类问题,给定一个有限的训练集,存在寻找低训练误差和低复杂度的预测器的算法。

泛化 (从第16节开始): 对于低复杂度的网络,训练和测试误差之间的差距很小。

成为VIP会员查看完整内容
0
38

机器学习是指通过经验自动提高性能的计算机程序(例如,学习识别人脸、推荐音乐和电影,以及驾驶自动机器人的程序)。本课程从不同的角度涵盖了机器学习的理论和实际算法。我们涵盖的主题如贝叶斯网络,决策树学习,支持向量机,统计学习方法,无监督学习和强化学习。本课程涵盖了归纳偏差、PAC学习框架、贝叶斯学习方法、基于边际的学习和奥卡姆剃刀等理论概念。编程作业包括各种学习算法的动手实验。本课程旨在为研究生提供机器学习研究人员目前所需要的方法学、技术、数学和算法的全面基础知识。

通过学习这门课程,能够获取:

实现和分析现有的学习算法,包括学习良好的分类、回归、结构化预测、聚类和表示学习方法 将实际机器学习的多个方面整合到一个系统中:数据预处理、学习、正则化和模型选择 描述用于学习的模型和算法的形式属性,并解释这些结果的实际含义 比较和对比不同的学习模式(有监督的,无监督的,等等) 设计实验来评估和比较现实问题中不同的机器学习技术 运用概率、统计学、微积分、线性代数和最优化来开发新的预测模型或学习方法 给出ML技术的描述,分析它以确定(1)形式主义的表达能力;(2)算法隐含的归纳偏差;(3)搜索空间的大小和复杂度;(5)关于终止、收敛、正确性、准确性或泛化能力的任何保证(或缺乏保证)。

课程地址:

http://www.cs.cmu.edu/~mgormley/courses/10601/

成为VIP会员查看完整内容
0
43

ML模型无处不在——从交通(自动驾驶汽车)到金融(信用卡或抵押贷款申请)和职业(公司招聘)。然而,ML并非没有风险。一些重要的风险涉及模型理解和问责:机器学习创建的模型很大程度上是我们难以窥视和理解的黑盒子;他们容易受到不可预见的错误、对抗性操纵以及在隐私和公平方面违反伦理规范的影响。

本课程将提供最先进的ML方法的介绍,旨在使人工智能更值得信赖。本课程关注四个概念: 解释、公平、隐私和健壮性。我们首先讨论如何解释ML模型输出和内部工作。然后,我们研究了偏差和不公平是如何在ML模型中产生的,并学习了缓解这个问题的策略。接下来,我们将研究模型在不应该泄漏敏感信息的情况下泄漏敏感信息的上下文中的差异隐私和成员关系推断。最后,我们将讨论对抗性攻击和提供抗对抗性操作的健壮性的方法。

学生将了解一套方法和工具,以部署透明、伦理和鲁棒的机器学习解决方案。学生将完成实验,家庭作业,并讨论每周阅读。

https://web.stanford.edu/class/cs329t/syllabus.html

成为VIP会员查看完整内容
0
22

这本书是为任何想学习如何开发机器学习系统的人准备的。我们将从理论和实践两方面涵盖关于机器学习算法的最重要概念,并将使用Python编程语言中的Scikit-learn库实现许多机器学习算法。在第一章中,您将学习机器学习最重要的概念,在下一章中,您将主要学习分类。在最后一章中,你将学习如何训练你的模型。我假定你已经了解了编程的基础知识。

成为VIP会员查看完整内容
0
107

深度学习的研究在许多机器学习任务上产生了最先进的结果。大多数的进步都是由直觉和通过试验和错误进行的大规模探索推动的。因此,目前理论落后于实践。ML社区并不完全理解为什么最好的方法是有效的。来自UIUC Matus Telgarsky教授撰写了关于深度学习理论笔记,值得关注。

地址: https://mjt.cs.illinois.edu/dlt/

这些笔记的哲学。两个关键的观点决定了到目前为止所包含的内容。 我的目标是对文献中出现的东西提供简化的证明,理想情况下,把困难的东西简化成适合一节课的东西。 我主要关注通过标准(通常是ReLU)前馈网络实现IID数据的二进制分类的低测试误差的经典观点。

内容组织:

  • 近似 (从第1节开始): 给定一个分类问题,存在一个深度网络,在分布上实现低误差。

  • 优化 (从第9节开始): 对于一个分类问题,给定一个有限的训练集,存在寻找低训练误差和低复杂度的预测器的算法。

  • 泛化 (从第16节开始): 对于低复杂度的网络,训练和测试误差之间的差距很小。

成为VIP会员查看完整内容
0
46

本教程介绍了机器学习(ML)的一些主要概念。从工程的角度来看,ML领域围绕着实现科学原理的软件开发: (i) 对一些现象设定一个假设(选择一个模型),(ii) 收集数据来验证假设(验证模型),(iii) 完善假设(迭代)。基于这一原理的一类重要算法是梯度下降法,它旨在迭代地细化由某个(权重)向量参数化的模型。通过结合假设空间(模型)、质量度量(损失)和模型优化(优化方法)的计算实现的不同选择,可以得到大量的ML方法。目前许多被认为是(人工)智能的系统都是基于几种基本机器学习方法的组合。在形式化ML问题的主要构建模块之后,讨论了ML方法的一些流行算法设计模式。本教程是在“机器学习:基本原理”和“人工智能”两门课程的课堂笔记基础上发起来的,这两门课程我从2015年开始在阿尔托大学(Aalto University)与人合作授课。

https://www.zhuanzhi.ai/paper/e45f282b068a1584cb0eaf0f0b338c20

成为VIP会员查看完整内容
0
98

机器学习是计算机科学中增长最快的领域之一,具有深远的应用。本书的目的是介绍机器学习,以及它所提供的算法范例。本书对机器学习的基本原理和将这些原理转化为实际算法的数学推导提供了理论解释。在介绍了基础知识之后,这本书涵盖了以前教科书没有涉及到的一系列广泛的中心主题。这些包括讨论学习的计算复杂性和凸性和稳定性的概念;重要的算法范例包括随机梯度下降、神经网络和结构化输出学习;以及新兴的理论概念,如PAC-Bayes方法和基于压缩的界限。本文面向高级本科生或刚毕业的学生,使统计学、计算机科学、数学和工程学领域的学生和非专业读者都能接触到机器学习的基本原理和算法。

https://www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html

概述

机器学习是指自动检测数据中有意义的模式。在过去的几十年里,它已经成为几乎所有需要从大数据集中提取信息的任务的通用工具。我们被一种基于机器学习的技术包围着:搜索引擎学习如何给我们带来最好的结果(同时投放有利可图的广告),反垃圾邮件软件学习如何过滤我们的电子邮件信息,信用卡交易被一种学习如何侦测欺诈的软件保护着。数码相机学会识别人脸,智能手机上的智能个人辅助应用学会识别语音指令。汽车配备了使用机器学习算法构建的事故预防系统。机器学习还广泛应用于生物信息学、医学和天文学等科学领域。

所有这些应用程序的一个共同特征是,与计算机的更传统使用相比,在这些情况下,由于需要检测的模式的复杂性,人类程序员无法提供关于这些任务应该如何执行的明确、详细的规范。以智慧生物为例,我们的许多技能都是通过学习我们的经验(而不是遵循给我们的明确指示)而获得或改进的。机器学习工具关注的是赋予程序“学习”和适应的能力。

这本书的第一个目标是提供一个严格的,但易于遵循,介绍机器学习的主要概念: 什么是机器学习?

本书的第二个目标是介绍几种关键的机器学习算法。我们选择展示的算法一方面在实践中得到了成功应用,另一方面提供了广泛的不同的学习技术。此外,我们特别关注适合大规模学习的算法(又称“大数据”),因为近年来,我们的世界变得越来越“数字化”,可用于学习的数据量也在急剧增加。因此,在许多应用中数据量大,计算时间是主要瓶颈。因此,我们明确地量化了学习给定概念所需的数据量和计算时间。

目录:

  • Introduction

Part I: Foundations

  • A gentle start
  • A formal learning model
  • Learning via uniform convergence
  • The bias-complexity trade-off
  • The VC-dimension
  • Non-uniform learnability
  • The runtime of learning

Part II: From Theory to Algorithms

  • Linear predictors
  • Boosting
  • Model selection and validation
  • Convex learning problems
  • Regularization and stability
  • Stochastic gradient descent
  • Support vector machines
  • Kernel methods
  • Multiclass, ranking, and complex prediction problems
  • Decision trees
  • Nearest neighbor
  • Neural networks

Part III: Additional Learning Models

  • Online learning
  • Clustering
  • Dimensionality reduction
  • Generative models
  • Feature selection and generation

Part IV: Advanced Theory

  • Rademacher complexities
  • Covering numbers
  • Proof of the fundamental theorem of learning theory
  • Multiclass learnability
  • Compression bounds
  • PAC-Bayes

Appendices

  • Technical lemmas
  • Measure concentration
  • Linear algebra
成为VIP会员查看完整内容
0
163

课程内容:

  • 数学基础:矩阵、向量、Lp范数、范数的几何、对称性、正确定性、特征分解。无约束最优化,graident下降法,凸函数,拉格朗日乘子,线性最小二乘法。概率空间,随机变量,联合分布,多维高斯。

  • 线性分类器:线性判别分析,分离超平面,多类分类,贝叶斯决策规则,贝叶斯决策规则几何,线性回归,逻辑回归,感知机算法,支持向量机,非线性变换。

  • 鲁棒性:对抗性攻击、定向攻击和非定向攻击、最小距离攻击、最大允许攻击、基于规则的攻击。通过纳微扰。支持向量机的鲁棒性。

  • 学习理论:偏差和方差,训练和测试,泛化,PAC框架,Hoeffding不等式,VC维。

参考书籍:

  • Pattern Classification, by Duda, Hart and Stork, Wiley-Interscience; 2 edition, 2000.
  • Learning from Data, by Abu-Mostafa, Magdon-Ismail and Lin, AMLBook, 2012.
  • Elements of Statistical Learning, by Hastie, Tibshirani and Friedman, Springer, 2 edition, 2009.
  • Pattern Recognition and Machine Learning, by Bishop, Springer, 2006.

讲者: Stanley Chan 教授 https://engineering.purdue.edu/ChanGroup/stanleychan.html

课程目标: 您将能够应用基本的线性代数、概率和优化工具来解决机器学习问题

•你将了解一般监督学习方法的原理,并能评论它们的优缺点。 •你会知道处理数据不确定性的方法。 •您将能够使用学习理论的概念运行基本的诊断。 •您将获得机器学习算法编程的实际经验。

成为VIP会员查看完整内容
0
141
小贴士
相关资讯
Python机器学习课程(代码与教程)
专知
21+阅读 · 2019年5月13日
136 个 Python 机器学习知识点让你受益终生!
Python开发者
7+阅读 · 2018年12月18日
第二章 机器学习中的数学基础
Datartisan数据工匠
8+阅读 · 2018年4月5日
吴恩达机器学习课程
平均机器
6+阅读 · 2018年2月5日
【机器学习】从零开始入门机器学习算法实践
产业智能官
7+阅读 · 2017年12月1日
机器学习必备手册
机器学习研究会
12+阅读 · 2017年10月24日
相关论文
V. Shlyannikov,E. Martínez-Pañeda,A. Tumanov,R. Khamidullin
0+阅读 · 10月18日
Bayesian Attention Belief Networks
Shujian Zhang,Xinjie Fan,Bo Chen,Mingyuan Zhou
5+阅读 · 6月9日
Hang Zhang,Yeyun Gong,Yelong Shen,Weisheng Li,Jiancheng Lv,Nan Duan,Weizhu Chen
10+阅读 · 5月10日
Hiroaki Hayashi,Zecong Hu,Chenyan Xiong,Graham Neubig
19+阅读 · 2019年8月21日
Sparse Sequence-to-Sequence Models
Ben Peters,Vlad Niculae,André F. T. Martins
4+阅读 · 2019年5月14日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Jia-Hong Huang,Cuong Duc Dao,Modar Alfadly,C. Huck Yang,Bernard Ghanem
4+阅读 · 2018年5月26日
Zhaopeng Tu,Xiaojiang Liu,Lei Shu,Shuming Shi
6+阅读 · 2018年4月21日
Enver Sangineto,Moin Nabi,Dubravko Culibrk,Nicu Sebe
8+阅读 · 2018年2月21日
Jiasen Lu,Jianwei Yang,Dhruv Batra,Devi Parikh
3+阅读 · 2017年1月19日
Top