这本书的重点是面向深度不确定性下关于决策的理论和实践的相关工具和方法。它探讨了在深度不确定性下支持战略计划设计的方法和工具,以及它们在现实世界中的测试,包括在实践中使用它们的障碍和促成因素。这本书扩展了传统的方法和工具,包括与手头的问题相关的行为和网络的分析。它还展示了如何利用应用过程中获得的经验教训来改进设计过程中使用的方法和工具。这本书提供了识别和运用适当的方法和工具来设计计划的指导,以及在现实世界中实施这些计划的建议。对于决策者和实践者,这本书包括现实的例子和实用的指导方针,应该帮助他们理解在深度不确定性下的决策是什么,以及它可能如何帮助他们。

深度不确定性下的决策: 从理论到实践分为四个部分。第一部分介绍了在深度不确定性下设计策略计划的五种方法: 稳健决策、动态适应规划、动态适应策略路径、信息缺口决策理论和工程选项分析。每种方法都是根据其理论基础、使用方法时要遵循的方法学步骤、最新的方法学见解和改进的挑战来制定的。在第二部分中,将介绍每一种方法的应用。基于最近的案例研究,运用每种方法的实际意义被深入讨论。第三部分基于对真实世界案例的理解,重点关注在真实世界的环境中使用这些方法和工具。第四部分包含结论和综合可以为设计、应用和执行深度不确定性下的策略计划而得出的教训,以及对未来工作的建议。

成为VIP会员查看完整内容
0
44

相关内容

强化学习定义了仅通过行动和观察来学习做出好的决策的代理所面临的问题。为了成为有效的问题解决器,这些代理必须能有效地探索广阔的世界,从延迟的反馈中分配信用,并归纳出新的经验,同时要利用有限的数据、计算资源和感知带宽。抽象对所有这些努力都是必要的。通过抽象,代理可以形成其环境的简洁模型,以支持一个理性的、自适应的决策者所需要的许多实践。在这篇论文中,我提出了强化学习中的抽象理论。首先,我提出了执行抽象过程的函数的三个要求:它们应该1)保持近似最优行为的表示,2) 有效地被学习和构造,3) 更低的规划或学习时间。然后,我提出了一套新的算法和分析,阐明了代理如何根据这些需求学习抽象。总的来说,这些结果提供了一条通向发现和使用抽象的部分路径,将有效强化学习的复杂性降到最低。

强化学习问题如下。RL代理通过以下两个离散步骤的无限重复与环境进行交互:

  1. 代理收到观察和奖励。
  2. 代理从这种交互中学习并执行一个动作。 这个过程如图1.2所示。在这种互动过程中,agent的目标是做出决策,使其获得的长期报酬最大化。

论文余下组织如下: 第1部分。在第2章中,我提供了关于RL(2.1节)以及状态抽象(2.2节)和动作抽象(2.3节)的必要背景知识。

第2部分。下一部分将专注于状态抽象。我提出了新的算法和三个紧密相连的分析集,每一个目标是发现满足引入的需求的状态抽象。在第3章中,我开发了一个形式化的框架来推理状态抽象,以保持近似最优的行为。这个框架由定理3.1总结,它强调了值保持状态抽象的四个充分条件。然后,在第4章中,我将这一分析扩展到终身RL设置,在终身RL设置中,代理必须不断地与不同的任务交互并解决不同的任务。本章的主要观点是介绍了用于终身学习设置的PAC状态抽象,以及澄清如何有效计算它们的结果。定理4.4说明了保证这些抽象保持良好行为的意义,定理4.5说明了有多少以前已解决的任务足以计算PAC状态抽象。我着重介绍了模拟实验的结果,这些结果说明了所介绍的状态抽象类型在加速学习和计划方面的效用。最后,第五章介绍了信息论工具对状态抽象的作用。我提出了状态抽象和率失真理论[283,43]和信息瓶颈方法[318]之间的紧密联系,并利用这种联系设计新的算法,以高效地构建状态抽象,优雅地在压缩和良好行为表示之间进行权衡。我以各种方式扩展了这个算法框架,说明了它发现状态抽象的能力,这些状态抽象提供了良好行为的样本高效学习。

第3部分。然后我转向行动抽象。在第6章中,我展示了Jinnai等人的分析[144],研究了寻找尽可能快地做出计划的抽象动作的问题——主要结果表明,这个问题通常是NP困难的(在适当简化的假设下),甚至在多项式时间内很难近似。然后,在第7章中,我解决了在规划中伴随高层次行为构建预测模型的问题。这样的模型使代理能够估计在给定状态下执行行为的结果。在本章中,我将介绍并分析一个用于这些高级行为的新模型,并证明在温和的假设下,这个简单的替代仍然是有用的。我提供的经验证据表明,新的预测模型可以作为其更复杂的对等物的适当替代者。最后,在第8章中,我探讨了抽象行动改善探索过程的潜力。我描述了Jinnai等人开发的一种算法[145],该算法基于构建可以轻松到达环境所有部分的抽象行动的概念,并证明该算法可以加速对基准任务的探索。

第4部分。最后,我转向状态动作抽象的联合过程。在第9章中,我介绍了一个将状态和动作抽象结合在一起的简单机制。使用这个方案,然后我证明了哪些状态和动作抽象的组合可以在任何有限的MDP中保持良好的行为策略的表示,定理9.1总结了这一点。接下来,我将研究这些联合抽象的反复应用,作为构建分层抽象的机制。在对层次结构和底层状态动作抽象的温和假设下,我证明了这些层次结构也可以保持全局近最优行为策略的表示,如定理9.3所述。然后,我将在第十章中总结我的思考和今后的方向。

总的来说,这些结果阐明了强化学习的抽象理论。图1.4展示了本文的可视化概述。

成为VIP会员查看完整内容
0
48

人工智能(AI)为改善私人和公共生活提供了很多机会,以自动化的方式在大型数据中发现模式和结构是数据科学的核心组件,目前驱动着计算生物学、法律和金融等不同领域的应用发展。然而,这种高度积极的影响也伴随着重大的挑战:我们如何理解这些系统所建议的决策,以便我们能够信任它们?在这个报告中,我们特别关注数据驱动的方法——特别是机器学习(ML)和模式识别模型——以便调查和提取结果和文献观察。通过注意到ML模型越来越多地部署在广泛的业务中,可以特别理解本报告的目的。然而,随着方法的日益普及和复杂性,业务涉众对模型的缺陷、特定数据的偏差等越来越关注。类似地,数据科学从业者通常不知道来自学术文献的方法,或者可能很难理解不同方法之间的差异,所以最终使用行业标准,比如SHAP。在这里,我们进行了一项调查,以帮助行业从业者(以及更广泛的数据科学家)更好地理解可解释机器学习领域,并应用正确的工具。我们后面的章节将围绕一位公认的数据科学家展开叙述,并讨论她如何通过提出正确的问题来解释模型。

https://arxiv.org/abs/2009.11698

成为VIP会员查看完整内容
0
78

机器学习简明指南,不可错过!

A Machine Learning Primer

亚马逊研究科学家Mihail Eric关于机器学习实践重要经验。包括监督学习、机器学习实践、无监督学习以及深度学习。具体为:

监督学习

  • 线性回归
  • 逻辑回归
  • 朴素贝叶斯
  • 支持向量机
  • 决策树
  • K-近邻

机器学习实践

  • 偏差-方差权衡
  • 如何选择模型
  • 如何选择特征
  • 正则化你的模型
  • 模型集成
  • 评价指标

无监督学习

  • 市场篮子分析
  • K均值聚类
  • 主成分分析

深度学习

  • 前向神经网络
  • 神经网络实践
  • 卷积神经网络
  • 循环神经网络
成为VIP会员查看完整内容
0
62

这是第一本介绍随机过程贝叶斯推理程序的书。贝叶斯方法有明显的优势(包括对先验信息的最佳利用)。最初,这本书以贝叶斯推理的简要回顾开始,并使用了许多与随机过程分析相关的例子,包括四种主要类型,即离散时间和离散状态空间以及连续时间和连续状态空间。然后介绍了理解随机过程所必需的要素,接着是专门用于此类过程的贝叶斯分析的章节。重要的是,这一章专门讨论随机过程中的基本概念。本文详细描述了离散时间马尔可夫链、马尔可夫跳跃过程、常规过程(如布朗运动和奥恩斯坦-乌伦贝克过程)、传统时间序列以及点过程和空间过程的贝叶斯推理(估计、检验假设和预测)。书中着重强调了许多来自生物学和其他科学学科的例子。为了分析随机过程,它将使用R和WinBUGS。

http://dl.booktolearn.com/ebooks2/science/statistics/9781138196131_Bayesian_Inference_for_Stochastic_Processes_52c4.pdf

成为VIP会员查看完整内容
0
78

前言 在这本书中,我们从图形模型的基础知识、它们的类型、为什么使用它们以及它们解决了什么类型的问题开始。然后我们在图形模型的上下文中探索子问题,例如它们的表示、构建它们、学习它们的结构和参数,以及使用它们回答我们的推理查询。

这本书试图提供足够的理论信息,然后使用代码示例窥视幕后,以了解一些算法是如何实现的。代码示例还提供了一个方便的模板,用于构建图形模型和回答概率查询。在文献中描述的许多种类的图形模型中,这本书主要关注离散贝叶斯网络,偶尔也有来自马尔科夫网络的例子。

内容概述

  • 第一章:概率论,涵盖了理解图形模型所需的概率论的概念。

  • 第2章:有向图形模型,提供了关于贝叶斯网络的信息,他们的属性相关的独立性,条件独立性,和D分离。本章使用代码片段加载贝叶斯网络并理解其独立性。

  • 第三章:无向图模型,介绍了马尔可夫网络的性质,马尔可夫网络与贝叶斯网络的区别,以及马尔可夫网络的独立性。

  • 第四章:结构学习,涵盖了使用数据集来推断贝叶斯网络结构的多种方法。我们还学习了结构学习的计算复杂性,并在本章使用代码片段来学习抽样数据集中给出的结构。

  • 第5章:参数学习,介绍了参数学习的最大似然法和贝叶斯方法。

  • 第6章:使用图形模型的精确推理,解释了精确推理的变量消除算法,并探索了使用相同算法回答我们的推理查询的代码片段。

  • 第7章:近似推理方法,探讨了网络太大而无法进行精确推理的近似推理。我们还将通过在马尔科夫网络上使用循环信念传播运行近似推论的代码样本。

目录

成为VIP会员查看完整内容
0
79

管理统计和数据科学的原理包括:数据可视化;描述性措施;概率;概率分布;数学期望;置信区间;和假设检验。方差分析;简单线性回归;多元线性回归也包括在内。另外,本书还提供了列联表、卡方检验、非参数方法和时间序列方法。

教材:

  • 包括通常在入门统计学课程中涵盖的学术材料,但与数据科学扭曲,较少强调理论
  • 依靠Minitab来展示如何用计算机执行任务
  • 展示并促进来自开放门户的数据的使用
  • 重点是发展对程序如何工作的直觉
  • 让读者了解大数据的潜力和目前使用它的失败之处
成为VIP会员查看完整内容
1
107

在复杂的以人为中心的系统中,每天的决策都具有决策相关信息不完全的特点。现有决策理论的主要问题是,它们没有能力处理概率和事件不精确的情况。在这本书中,我们描述了一个新的理论的决策与不完全的信息。其目的是将决策分析和经济行为的基础从领域二价逻辑转向领域模糊逻辑和Z约束,从行为决策的外部建模转向组合状态的框架。

这本书将有助于在模糊逻辑,决策科学,人工智能,数学经济学,和计算经济学的专业人员,学者,经理和研究生。

读者:专业人士,学者,管理者和研究生在模糊逻辑,决策科学,人工智能,数学经济学,和计算经济学。

成为VIP会员查看完整内容
0
168

这本教科书通过提供实用的建议,使用直接的例子,并提供相关应用的引人入胜的讨论,以一种容易理解的方式介绍了基本的机器学习概念。主要的主题包括贝叶斯分类器,最近邻分类器,线性和多项式分类器,决策树,神经网络,和支持向量机。后面的章节展示了如何通过“推进”的方式结合这些简单的工具,如何在更复杂的领域中利用它们,以及如何处理各种高级的实际问题。有一章专门介绍流行的遗传算法。

这个修订的版本包含关于工业中机器学习的实用应用的关键主题的三个全新的章节。这些章节研究了多标签域,无监督学习和它在深度学习中的使用,以及归纳逻辑编程的逻辑方法。许多章节已经被扩展,并且材料的呈现已经被增强。这本书包含了许多新的练习,许多解决的例子,深入的实验,和独立工作的计算机作业。

https://link.springer.com/book/10.1007/978-3-319-63913-0#about

成为VIP会员查看完整内容
0
153

机器学习是计算机科学中增长最快的领域之一,具有深远的应用。本书的目的是介绍机器学习,以及它所提供的算法范例。本书对机器学习的基本原理和将这些原理转化为实际算法的数学推导提供了理论解释。在介绍了基础知识之后,这本书涵盖了以前教科书没有涉及到的一系列广泛的中心主题。这些包括讨论学习的计算复杂性和凸性和稳定性的概念;重要的算法范例包括随机梯度下降、神经网络和结构化输出学习;以及新兴的理论概念,如PAC-Bayes方法和基于压缩的界限。本文面向高级本科生或刚毕业的学生,使统计学、计算机科学、数学和工程学领域的学生和非专业读者都能接触到机器学习的基本原理和算法。

https://www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html

概述

机器学习是指自动检测数据中有意义的模式。在过去的几十年里,它已经成为几乎所有需要从大数据集中提取信息的任务的通用工具。我们被一种基于机器学习的技术包围着:搜索引擎学习如何给我们带来最好的结果(同时投放有利可图的广告),反垃圾邮件软件学习如何过滤我们的电子邮件信息,信用卡交易被一种学习如何侦测欺诈的软件保护着。数码相机学会识别人脸,智能手机上的智能个人辅助应用学会识别语音指令。汽车配备了使用机器学习算法构建的事故预防系统。机器学习还广泛应用于生物信息学、医学和天文学等科学领域。

所有这些应用程序的一个共同特征是,与计算机的更传统使用相比,在这些情况下,由于需要检测的模式的复杂性,人类程序员无法提供关于这些任务应该如何执行的明确、详细的规范。以智慧生物为例,我们的许多技能都是通过学习我们的经验(而不是遵循给我们的明确指示)而获得或改进的。机器学习工具关注的是赋予程序“学习”和适应的能力。

这本书的第一个目标是提供一个严格的,但易于遵循,介绍机器学习的主要概念: 什么是机器学习?

本书的第二个目标是介绍几种关键的机器学习算法。我们选择展示的算法一方面在实践中得到了成功应用,另一方面提供了广泛的不同的学习技术。此外,我们特别关注适合大规模学习的算法(又称“大数据”),因为近年来,我们的世界变得越来越“数字化”,可用于学习的数据量也在急剧增加。因此,在许多应用中数据量大,计算时间是主要瓶颈。因此,我们明确地量化了学习给定概念所需的数据量和计算时间。

目录:

  • Introduction

Part I: Foundations

  • A gentle start
  • A formal learning model
  • Learning via uniform convergence
  • The bias-complexity trade-off
  • The VC-dimension
  • Non-uniform learnability
  • The runtime of learning

Part II: From Theory to Algorithms

  • Linear predictors
  • Boosting
  • Model selection and validation
  • Convex learning problems
  • Regularization and stability
  • Stochastic gradient descent
  • Support vector machines
  • Kernel methods
  • Multiclass, ranking, and complex prediction problems
  • Decision trees
  • Nearest neighbor
  • Neural networks

Part III: Additional Learning Models

  • Online learning
  • Clustering
  • Dimensionality reduction
  • Generative models
  • Feature selection and generation

Part IV: Advanced Theory

  • Rademacher complexities
  • Covering numbers
  • Proof of the fundamental theorem of learning theory
  • Multiclass learnability
  • Compression bounds
  • PAC-Bayes

Appendices

  • Technical lemmas
  • Measure concentration
  • Linear algebra
成为VIP会员查看完整内容
0
163

在线推荐系统帮助用户找到电影、工作、餐馆——甚至爱情!这是一种将统计数据、人口统计数据和查询条件相结合以获得令他们满意的结果的艺术。学习建立一个推荐系统的正确方法:它可以使你的应用成功或失败!

对这项技术

推荐系统无处不在,帮助你找到从电影到工作,从餐馆到医院,甚至是爱情的一切。利用行为和人口统计数据,这些系统可以预测用户在特定时间最感兴趣的内容,从而得到高质量、有序、个性化的建议。推荐系统实际上是保持网站内容最新、有用和有趣的必要手段。

关于这本书

实用推荐系统解释如何推荐系统的工作,并显示如何创建和应用它们为您的网站。在介绍了基础知识之后,您将看到如何收集用户数据并生成个性化的推荐。您将学习如何使用最流行的推荐算法,并在Amazon和Netflix等网站上看到它们的实例。最后,这本书涵盖了规模问题和其他问题,你会遇到的网站成长。

里面有什么

  • 如何收集和理解用户行为
  • 协同和基于内容的过滤
  • 机器学习算法
  • Python中的实际示例
成为VIP会员查看完整内容
0
128
小贴士
相关VIP内容
专知会员服务
78+阅读 · 2020年10月10日
专知会员服务
62+阅读 · 2020年10月5日
专知会员服务
78+阅读 · 2020年8月27日
【干货书】用Python构建概率图模型,173页pdf
专知会员服务
79+阅读 · 2020年8月23日
专知会员服务
107+阅读 · 2020年7月29日
专知会员服务
168+阅读 · 2020年6月24日
【干货书】《机器学习导论(第二版)》,348页pdf
专知会员服务
153+阅读 · 2020年6月16日
相关资讯
自动化学科面临的挑战
专知
3+阅读 · 2020年12月19日
不对称多代理博弈中的博弈理论解读
AI前线
5+阅读 · 2018年3月8日
教程 | 基于Keras的LSTM多变量时间序列预测
机器之心
16+阅读 · 2017年10月30日
量化投资与建模基于贝叶斯系列
量化投资与机器学习
6+阅读 · 2017年7月12日
RNN | RNN实践指南(3)
KingsGarden
6+阅读 · 2017年6月5日
相关论文
Yanling Cui,Wensheng Gan,Hong Lin,Weimin Zheng
0+阅读 · 3月11日
David Heckerman
0+阅读 · 3月8日
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
45+阅读 · 2020年7月2日
Explanatory Graphs for CNNs
Quanshi Zhang,Xin Wang,Ruiming Cao,Ying Nian Wu,Feng Shi,Song-Chun Zhu
4+阅读 · 2018年12月18日
Ikhlas Alhussien,Erik Cambria,Zhang NengSheng
3+阅读 · 2018年9月27日
Michael Motro,Joydeep Ghosh
3+阅读 · 2018年5月21日
Yuanlu Xu,Lei Qin,Xiaobai Liu,Jianwen Xie,Song-Chun Zhu
5+阅读 · 2018年3月29日
Sven Schmit,Carlos Riquelme
6+阅读 · 2018年3月28日
Quanshi Zhang,Ying Nian Wu,Song-Chun Zhu
17+阅读 · 2018年2月14日
Behnaz Nojavanasghari,Yuchi Huang,Saad Khan
4+阅读 · 2018年1月30日
Top