现代深度学习方法为研究人员和工程师们提供了强大的工具,来解决以前似乎不可能解决的问题。然而,由于深度学习方法像黑匣子一样运行,与它们预测相关的不确定性往往难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本文为使用机器学习,特别是深度学习的研究人员和科学家提供了教程,概述了相关文献,并提供了一套完整的工具集来设计、实现、训练、使用和评估贝叶斯神经网络。

https://cimsnyu.hosted.panopto.com/Panopto/Pages/Viewer.aspx?id=7e6db4d7-d642-41f2-97a0-ab510100db5e

成为VIP会员查看完整内容
0
29

相关内容

【导论】麻省理工学院最近开设一门深度学习课程MIT 6.S191,共包含十大主题课程,涵盖深度学习导论、序列建模、深度视觉、生成模型、强化学习、图神经网络、对抗学习、贝叶斯模型、神经渲染、机器学习嗅觉等,图文并茂,涵盖最新的前沿内容,非常值得学习!最新一讲是深度强化学习。

课程地址: http://introtodeeplearning.com/

课程介绍:

麻省理工学院的深度学习方法的导论课程,应用到计算机视觉,自然语言处理,生物学,和更多! 学生将获得深度学习算法的基础知识和在TensorFlow中构建神经网络的实践经验。先修习微积分(即求导数)和线性代数(即矩阵乘法),我们将在学习过程中尝试解释其它内容! Python方面的经验是有帮助的,但不是必需的。欢迎听众!

成为VIP会员查看完整内容
0
21

注意力是一种在广泛的神经结构中使用的越来越流行的机制。由于这一领域的快速发展,仍然缺乏对注意力的系统概述。在本文中,我们定义了用于自然语言处理的注意力体系结构的统一模型,重点介绍了用于文本数据的向量表示的体系结构。我们讨论了以往工作的不同方面,注意力机制的可能用途,并描述了该领域的主要研究工作和公开挑战。

https://web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf

成为VIP会员查看完整内容
0
130

不确定性的概念在机器学习中是非常重要的,并且构成了现代机器学习方法论的一个关键元素。近年来,由于机器学习与实际应用的相关性越来越大,它的重要性也越来越大,其中许多应用都伴随着安全要求。在这方面,机器学习学者们发现了新的问题和挑战,需要新的方法发展。事实上,长期以来,不确定性几乎被视为标准概率和概率预测的同义词,而最近的研究已经超越了传统的方法,也利用了更一般的形式主义和不确定性计算。例如,不确定性的不同来源和类型之间的区别,例如任意不确定性和认知不确定性,在许多机器学习应用中被证明是有用的。讲习班将特别注意这方面的最新发展。

综述论文:

不确定性的概念在机器学习中是非常重要的,并且构成了机器学习方法的一个关键元素。按照统计传统,不确定性长期以来几乎被视为标准概率和概率预测的同义词。然而,由于机器学习与实际应用和安全要求等相关问题的相关性稳步上升,机器学习学者最近发现了新的问题和挑战,而这些问题可能需要新的方法发展。特别地,这包括区分(至少)两种不同类型的不确定性的重要性,通常被称为任意的和认知的。在这篇论文中,我们提供了机器学习中的不确定性主题的介绍,以及到目前为止在处理一般不确定性方面的尝试的概述,并特别将这种区别形式化。

https://www.zhuanzhi.ai/paper/8329095368761f81a7849fe5457949ed

成为VIP会员查看完整内容
0
52

可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
130

许多ML任务与信号处理有共同的实际目标和理论基础(例如,光谱和核方法、微分方程系统、顺序采样技术和控制理论)。信号处理方法是ML许多子领域中不可分割的一部分,例如,强化学习,哈密顿蒙特卡洛,高斯过程(GP)模型,贝叶斯优化,神经ODEs /SDEs。

本教程旨在涵盖与离散时间和连续时间信号处理方法相联系的机器学习方面。重点介绍了随机微分方程(SDEs)、状态空间模型和高斯过程模型的递推估计(贝叶斯滤波和平滑)。目标是介绍基本原则之间的直接联系信号处理和机器学习, (2) 提供一个直观的实践理解随机微分方程都是关于什么, (3) 展示了这些方法在加速学习的真正好处,提高推理,模型建立,演示和实际应用例子。这将展示ML如何利用现有理论来改进和加速研究,并为从事这些方法交叉工作的ICML社区成员提供统一的概述。

成为VIP会员查看完整内容
0
64

Andrew Gordon Wilson,纽约大学Courant数学科学研究所和数据科学中心助理教授,曾担任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的区域主席/SPC以及ICML 2019、2020年EXO主席。 个人主页:https://cims.nyu.edu/~andrewgw/

贝叶斯深度学习与概率模型构建

贝叶斯方法的关键区别属性是间隔化,而不是使用单一的权重设置。贝叶斯间隔化尤其可以提高现代深度神经网络的准确性和标度,这些数据通常不充分指定,并可以代表许多引人注目但不同的解决方案。研究表明,深层的综合系统提供了一种有效的近似贝叶斯间隔化机制,并提出了一种相关的方法,在没有显著开销的情况下,通过在吸引 basins 内间隔化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化特性。从这个角度出发,我们解释了一些神秘而又不同于神经网络泛化的结果,比如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程重新得到。我们还表明贝叶斯平均模型减轻了双下降,从而提高了灵活性,提高了单调性能。最后,我们提供了一个贝叶斯角度的调温校正预测分布。

视频地址:https://www.youtube.com/watch?v=E1qhGw8QxqY

成为VIP会员查看完整内容
0
67

本教程对基于模型的强化学习(MBRL)领域进行了广泛的概述,特别强调了深度方法。MBRL方法利用环境模型来进行决策——而不是将环境视为一个黑箱——并且提供了超越无模型RL的独特机会和挑战。我们将讨论学习过渡和奖励模式的方法,如何有效地使用这些模式来做出更好的决策,以及规划和学习之间的关系。我们还强调了在典型的RL设置之外利用世界模型的方式,以及在设计未来的MBRL系统时,从人类认知中可以得到什么启示。

https://sites.google.com/view/mbrl-tutorial

近年来,强化学习领域取得了令人印象深刻的成果,但主要集中在无模型方法上。然而,社区认识到纯无模型方法的局限性,从高样本复杂性、需要对不安全的结果进行抽样,到稳定性和再现性问题。相比之下,尽管基于模型的方法在机器人、工程、认知和神经科学等领域具有很大的影响力,但在机器学习社区中,这些方法的开发还不够充分(但发展迅速)。它们提供了一系列独特的优势和挑战,以及互补的数学工具。本教程的目的是使基于模型的方法更被机器学习社区所认可和接受。鉴于最近基于模型的规划的成功应用,如AlphaGo,我们认为对这一主题的全面理解是非常及时的需求。在教程结束时,观众应该获得:

  • 数学背景,阅读并跟进相关文献。
  • 对所涉及的算法有直观的理解(并能够访问他们可以使用和试验的轻量级示例代码)。
  • 在应用基于模型的方法时所涉及到的权衡和挑战。
  • 对可以应用基于模型的推理的问题的多样性的认识。
  • 理解这些方法如何适应更广泛的强化学习和决策理论,以及与无模型方法的关系。
成为VIP会员查看完整内容
0
71

近年来,神经网络已成为分析复杂和抽象数据模型的有力工具。然而,它们的引入本质上增加了我们的不确定性,即分析的哪些特征是与模型相关的,哪些是由神经网络造成的。这意味着,神经网络的预测存在偏差,无法与数据的创建和观察的真实本质区分开来。为了尝试解决这些问题,我们讨论了贝叶斯神经网络:可以描述由网络引起的不确定性的神经网络。特别地,我们提出了贝叶斯统计框架,它允许我们根据观察某些数据的根深蒂固的随机性和我们缺乏关于如何创建和观察数据的知识的不确定性来对不确定性进行分类。在介绍这些技术时,我们展示了如何从原理上获得神经网络预测中的误差,并提供了描述这些误差的两种常用方法。我们还将描述这两种方法在实际应用时如何存在重大缺陷,并强调在使用神经网络时需要其他统计技术来真正进行推理。

成为VIP会员查看完整内容
0
98

【导读】CCF-A类顶会WWW2020最近在线举行。来自CMU-Amazon五位学者给了《时间序列预测:理论与实践》的Tutorial报告,共379页PPT,阐述了解决大规模预测问题提供最重要的方法和工具的简明和直观的概述

时间序列预测是业务流程自动化和优化的一个关键因素: 在零售领域,决定订购哪些产品以及将它们存储在哪里取决于对不同地区未来需求的预测;在云计算中,对未来服务和基础设施组件使用情况的估计将指导容量规划;仓库和工厂的劳动力调度需要预测未来的工作量。近年来,预测技术和应用的范式发生了变化,从基于计算机辅助模型和假设到数据驱动和全自动。这一转变可以归因于大型、丰富和多样化的时间序列数据源的可用性,并导致了一系列需要解决的挑战,如:我们如何建立统计模型,以有效地和有效地学习如何从大型和多样化的数据源进行预测?在有限的观测情况下,我们如何利用“相似”时间序列的统计能力来改进预测?建立能够处理大量数据的预测系统意味着什么?

本教程的目标是为解决大规模预测问题提供最重要的方法和工具的简明和直观的概述。我们回顾了三个相关领域的研究现状: (1)时间序列的经典建模,(2)预测的现代方法,包括张量分析和深度学习。此外,我们还讨论了建立大规模预测系统的实际问题,包括数据集成、特征生成、回溯测试框架、误差跟踪和分析等。我们的重点是提供一个直观的概述方法和实际问题,我们将通过案例研究和互动材料与Jupyter笔记本说明。

时间序列预测经典方法 Classical Methods for Big Time Series Forecasting

  • Similarity search and indexing
  • DSP: Fourier and wavelets
  • Linear forecasting
  • Non-linear forecasting
  • Tensors

时间序列预测现代方法 Modern Methods for Big Time Series Forecasting

  • Multi-layer perceptron (feedforward neural networks)
  • Recurrent neural networks (RNN)s: canonical, Sequence-to-Sequence and other - - rchitectures
  • Probibilistic Forecast with NNs
  • Others structures: Convolution, WaveNet, Transfomers, and all that
  • Deep Probabilistic Models for Forecasting

时间序列预测实践 Forecasting in Practice

  • Building Large Scale Forecasting Systems
  • Getting start with Forecasting with
  • GluonTS: A Probabilistic Time Series Library
  • DeepAR on SageMaker
  • Amazon Forecast

百度网盘下载地址: Part1:链接: https://pan.baidu.com/s/1UJXbWGZe_n6n1DbkYqQamw 提取码: x6n2 Part2:链接: https://pan.baidu.com/s/1TGnLWa9AVRHPPZ59LLqPgw 提取码: pbjq

成为VIP会员查看完整内容
2
130
小贴士
相关VIP内容
专知会员服务
130+阅读 · 2020年11月24日
专知会员服务
52+阅读 · 2020年10月18日
专知会员服务
130+阅读 · 2020年8月26日
专知会员服务
64+阅读 · 2020年8月15日
(ICML 2020 Tutorial)贝叶斯深度学习与概率模型构建,134页ppt
专知会员服务
71+阅读 · 2020年7月20日
专知会员服务
98+阅读 · 2020年6月3日
相关论文
Diego Antognini,Boi Faltings
0+阅读 · 5月11日
Rafael Cabañas,Alessandro Antonucci
0+阅读 · 5月10日
Jaehyeok Shin,Aaditya Ramdas,Alessandro Rinaldo
0+阅读 · 5月8日
Jože M. Rožanec,Patrik Zajec,Klemen Kenda,Inna Novalija,Blaž Fortuna,Dunja Mladenić
0+阅读 · 5月5日
Aidan Hogan,Eva Blomqvist,Michael Cochez,Claudia d'Amato,Gerard de Melo,Claudio Gutierrez,José Emilio Labra Gayo,Sabrina Kirrane,Sebastian Neumaier,Axel Polleres,Roberto Navigli,Axel-Cyrille Ngonga Ngomo,Sabbir M. Rashid,Anisa Rula,Lukas Schmelzeisen,Juan Sequeda,Steffen Staab,Antoine Zimmermann
79+阅读 · 2020年3月4日
Guanglin Niu,Yongfei Zhang,Bo Li,Peng Cui,Si Liu,Jingyang Li,Xiaowei Zhang
7+阅读 · 2019年12月28日
Relational Graph Attention Networks
Dan Busbridge,Dane Sherburn,Pietro Cavallo,Nils Y. Hammerla
3+阅读 · 2019年4月11日
Xuelu Chen,Muhao Chen,Weijia Shi,Yizhou Sun,Carlo Zaniolo
3+阅读 · 2018年11月26日
Top