人类生成的类别标签通常是嘈杂的,因为从多个专家收集的数据在不同标签之间表现出不一致。为了改善这一效果,一种方法是要求标记者对样本进行比较或排序:当类别标签被排序时,面对两个或更多样本的标记者可以根据类别的从属关系对它们按w.r.t.的相对顺序进行排序。比较比类别标签更能提供信息,因为它们捕捉了类别之间和类别内部的关系;后者并不仅仅通过类别标签来揭示。此外,在实践中,比较标签的可变性减少了:这在许多领域的实验中都观察到了,这是因为人们经常发现做出相对判断比做出绝对判断更容易。

然而,从比较中学习带来了计算上的挑战回归排名特征是一个计算密集型任务。从𝑁样本之间的成对比较中学习对应于对𝑂(𝑁^2)比较标签的推理。更一般地,从大小为K的样本子集的排名中学习对应于对𝑂(𝑁^K)标签的推理。这需要显著改善性能,例如,最大似然估计(MLE)算法在这样的数据集。最后,收集排名也是劳动密集型的。这正是因为要标记的势集的大小为K的空间的大小为𝑂(𝑁^K)。

本教程将回顾经典的和最近的方法来解决从比较中学习的问题,更广泛地说,从排名数据中学习。将特别关注排名回归设置,即排名是从样本特征回归。

https://neu-spiral.github.io/LearningFromComparisons/

Parametric models: Bradley-Terry, Plackett-Luce, Thurstone. Non-parametric Models: noisy-permutation model, Mallows model, matrix factorization methods. Maximum Likelihood Estimation and spectral algorithms. Ranking regression and variational inference methods applied to comparisons. Sample complexity guarantees for ranking regression. Deep neural network models and accelerated learning methods. Active learning from comparisons.

成为VIP会员查看完整内容
0
34

相关内容

现代深度学习方法为研究人员和工程师们提供了强大的工具,来解决以前似乎不可能解决的问题。然而,由于深度学习方法像黑匣子一样运行,与它们预测相关的不确定性往往难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本文为使用机器学习,特别是深度学习的研究人员和科学家提供了教程,概述了相关文献,并提供了一套完整的工具集来设计、实现、训练、使用和评估贝叶斯神经网络。

https://cimsnyu.hosted.panopto.com/Panopto/Pages/Viewer.aspx?id=7e6db4d7-d642-41f2-97a0-ab510100db5e

成为VIP会员查看完整内容
0
29

贝叶斯决策理论提供了一个统一的、直观的吸引人的方法,从观察中得出推论,并做出理性的、知情的决定。贝叶斯学派把统计推理看作是信念动力学中的一个问题,即使用有关现象的证据来修正和更新有关它的知识。贝叶斯统计是一种科学合理的方法,以整合知情的专家判断与经验数据。贝叶斯统计推断不能完全独立于将根据推断作出的决策的上下文来处理。近年来,贝叶斯方法在各种严重依赖数据的学科中变得越来越普遍。本课程向学生介绍贝叶斯理论和方法论,包括贝叶斯推理的现代计算方法。学生将学习贝叶斯方法和频率论方法在统计推断方面的共性和差异,如何从贝叶斯的角度来处理统计问题,以及如何将数据与专家判断以合理的方式结合起来,得出有用的和与政策相关的结论。学生将学习必要的理论,以发展一个坚定的理解何时和如何应用贝叶斯和频率论方法,并将学习实际程序,为现象发展统计模型,得出推论,并评估证据支持假设。本课程涵盖贝叶斯推理理论的基础知识,包括以概率表示信任程度,似然原理,使用贝叶斯规则修正基于证据的信念,共同统计模型的共轭先验分布,近似后验分布的马尔可夫链蒙特卡罗方法,贝叶斯层次模型,以及其他关键主题。引入图形模型来表示复杂的概率和决策问题,将它们指定为模块化组件。作业利用现代计算技术,并着重于将方法应用于实际问题。

http://seor.vse.gmu.edu/~klaskey/SYST664/SYST664.html

目录内容: Unit 1: A Brief Tour of Bayesian Inference and Decision Theory Unit 2: Random Variables, Parametric Models, and Inference from Observation Unit 3: Bayesian Inference with Conjugate Pairs: Single Parameter Models Unit 4: Introduction to Monte Carlo Approximation Unit 5: The Normal Model Unit 6: Gibbs Sampling Unit 7: Hierarchical Bayesian Models Unit 8: Bayesian Regression Unit 9: Conclusion: Multinomial Distribution and Latent Groups

成为VIP会员查看完整内容
0
20

来自台湾国立清华大学吴尚鸿副教授主讲的《大规模机器学习》教程,内容包括深度学习概述与学习理论。

本课程介绍深度学习的概念和实践。课程由三个部分组成。在第一部分中,我们快速介绍了经典机器学习,并回顾了一些需要理解深度学习的关键概念。在第二部分中,我们将讨论深度学习与经典机器学习的不同之处,并解释为什么它在处理复杂问题如图像和自然语言处理时是有效的。我们将介绍各种CNN和RNN模型。在第三部分,我们介绍了深度强化学习及其应用。

本课程也提供了编程的实验。在整个课程中,我们将使用Python 3作为主要的编程语言。一些流行的机器学习库,如Scikit-learn和Tensorflow 2.0将被使用并详细解释。

本课程也提供了编程的实验。在整个课程中,我们将使用Python 3作为主要的编程语言。一些流行的机器学习库,如Scikit-learn和Tensorflow 2.0将被使用并详细解释。

目录内容:

  • Introduction 引言
  • Linear Algebra 线性代数
  • Data Exploration & PCA (Bonus) 数据探索
  • Probability & Information Theory 概率与信息理论
  • Decision Trees & Random Forest (Bonus) 决策树与随机森林
  • 数值优化 Numerical Optimization
  • 感知器 Perceptron & Adaline (Bonus)
  • 回归 Regression (Bonus)
  • 学习理论与正则 Learning Theory & Regularization
  • 正则化 Regularization
  • 概率模型 Probabilistic Models
  • 线性回归与度量 Logistic Regression & Metrics
  • 非参数方法 Non-Parametric Methods & SVMs (Suggested Reading)
  • 支持向量机 SVMs & Scikit-Learn Pipelines (Bonus)
  • 交叉验证 Cross Validation & Ensembling (Suggested Reading)
  • 集成 CV & Ensembling (Bonus)
  • 预测 Predicting News Popularity
  • 大规模机器学习 Large-Scale Machine Learning
  • 深度神经网络设计 Neural Networks: Design
  • 神经网络 Neural Networks from Scratch (No Assignment)
  • TensorFlow 101 (No Assignment)
  • 神经网络 Neural Networks: Optimization & Regularization
  • Word2Vec
  • 卷积神经网络 Convolutional Neural Networks
  • Convolutional Neural Networks & Data Pipelines
  • 循环神经网络 Recurrent Neural Networks
成为VIP会员查看完整内容
0
34

本文推荐来自Emanuele Rodolà博士讲述《几何深度学习》,100页ppt系统性讲述了几何深度学习基础知识和最新进展,非常干货。 http://lcsl.mit.edu/courses/regml/regml2020/

几何深度学习

过去十年在计算机视觉研究已经见证了“深度学习”的重新崛起,特别是卷积神经网络(CNN)技术, 它允许从大量的样例中学习强大的图像特征表示。CNNs在图像分类、分割、检测和标注等广泛的应用中取得了性能上的突破。然而,当试图将CNN范式应用于三维形状、点云和图形(基于特征的描述、相似度、对应、检索等)时,必须面对图像与几何对象之间的根本差异。形状分析、图形分析和几何处理带来了图像分析中不存在的新挑战,而深度学习方法直到最近才开始渗透到这些领域。本教程的目的是概述非欧几里得数据学习技术的基础和目前的技术现状。本教程将特别关注应用于欧氏和非欧氏流形的深度学习技术(CNN),以完成形状分类、检索和对应的任务。本教程将从新的角度介绍3D计算机视觉和几何数据处理的问题,强调与传统2D设置的类比和区别,并展示如何适应流行的学习方案,以处理非欧几里得结构。

成为VIP会员查看完整内容
0
49
小贴士
相关主题
相关资讯
下载 | 384页NLP多任务联合学习教程(PPT)
机器学习算法与Python学习
18+阅读 · 2018年11月22日
246 页《统计机器学习与凸优化》教程 PPT 下载
新智元
10+阅读 · 2018年9月21日
【干货】机器学习中的五种回归模型及其优缺点
机器学习算法与Python学习
6+阅读 · 2018年8月10日
学会这10种机器学习算法,你才算入门(附教程)
七月在线实验室
4+阅读 · 2018年4月13日
相关论文
Antoine Mazieres,Telmo Menezes,Camille Roth
0+阅读 · 5月12日
Afsaneh Mastouri,Yuchen Zhu,Limor Gultchin,Anna Korba,Ricardo Silva,Matt J. Kusner,Arthur Gretton,Krikamol Muandet
0+阅读 · 5月11日
Tianfang Zhang,Rasmus Bokrantz,Jimmy Olsson
0+阅读 · 5月9日
Zhengling Qi,Rui Miao,Xiaoke Zhang
0+阅读 · 5月3日
Reza Godaz,Reza Monsefi,Faezeh Toutounian,Reshad Hosseini
0+阅读 · 5月3日
One-Class Classification: A Survey
Pramuditha Perera,Poojan Oza,Vishal M. Patel
5+阅读 · 1月8日
Liwei Wu,Cho-Jui Hsieh,James Sharpnack
6+阅读 · 2018年2月28日
Feng Wang,Weiyang Liu,Haijun Liu,Jian Cheng
10+阅读 · 2018年1月18日
Alireza Ghasemi,Hamid R. Rabiee,Mohsen Fadaee,Mohammad T. Manzuri,Mohammad H. Rohban
3+阅读 · 2016年2月24日
Top