用于机器学习的贝叶斯方法已经被广泛研究,产生了将先验信息纳入推理算法的原则方法。本文对贝叶斯方法在强化学习(RL)范式中的作用进行了深入的评述。在RL中整合贝叶斯推理的主要动机是,它提供了一种优雅的行动选择(探索/开发)方法,作为学习中的不确定性的函数,并且它提供了一种将先验知识整合到算法中的机制。

贝叶斯强化学习:综述首先讨论了简单单步Bandit模型中的贝叶斯推理模型和方法。然后回顾了最近关于基于模型的RL的贝叶斯方法的广泛文献,其中先验信息可以表达在马尔可夫模型的参数上。它还提出了无模型RL的贝叶斯方法,其中先验是在值函数或策略类上表示的。

《贝叶斯强化学习》是一个全面的参述,为学生和研究人员与兴趣的贝叶斯RL算法及其理论和经验性质。

成为VIP会员查看完整内容
0
41

相关内容

摘要

金融AI泛指人工智能技术在金融业务中的应用。几十年来,随着经典和现代人工智能技术被应用到金融、经济和社会等越来越广泛的领域,这一领域一直备受关注。与讨论特定人工智能技术,特别是新一代人工智能和数据科学(AIDS)领域所带来的金融问题、方面和机遇,或回顾应用特定技术解决特定金融问题的进展相比,这篇综述提供了一个全面而密集的路线图,概述了过去几十年金融领域人工智能研究面临的巨大挑战、技术和机遇。本文首先概述了金融业务和数据的前景和挑战,然后对金融领域数十年的人工智能研究进行了全面分类和密集概述。然后,我们构建和说明数据驱动的分析和学习的金融业务和数据。以下是对经典和现代金融AI技术的比较、批评和讨论。最后,讨论了未来人工智能授权金融和财务驱动的人工智能研究的未决问题和机遇。

https://www.zhuanzhi.ai/paper/094883565e2f0985d3812fed429af2fe

引言

几十年来,金融领域的人工智能(AI)一直是人们非常感兴趣的研究领域。传统金融市场、交易、银行、保险、风险、监管和营销等经典的人工智能金融和经济,已经演变为新一代金融科技(或金融科技,即全面的金融技术),实现智能数字货币、贷款、支付、资产和财富管理,风险和监管管理,以及会计和审计[13,14,32,33,58,119,136]。在这里,金融指的是广泛的领域,包括资本市场、交易、银行、保险、领先/贷款、投资、资产/财富管理、风险管理、市场营销、合规和监管、支付、合同、审计、会计、金融基础设施、区块链、金融运营、金融服务、金融安全、和金融伦理。此外,经济和金融(简称EcoFin,下文也指EcoFin方面)彼此之间以及与广泛的人工智能家族之间的协同作用日益增强。

金融服务、经济、技术、媒体、传播和社会转型与综合。辅助系统包括 (1) 经典技术,包括逻辑、规划、知识表示、统计建模、数学建模、优化、自主系统、多智能体系统、专家系统(ES)、决策支持系统(DSS)、仿真、复杂性科学、模式识别、图像处理、自然语言处理(NLP);(2)现代技术,如表示学习、机器学习、优化、数据分析、数据挖掘和知识发现、计算智能、事件分析、行为信息学、社交媒体/网络分析,以及最近的深度学习、认知计算和量子计算等方面的最新进展。如[33]所述,AIDS在很大程度上定义了EcoFin和FinTech新时代的目标、产品和服务,并培育了EcoFin向越来越积极主动、个性化、智能化、互联化、安全可信的产品和服务转型的浪潮,形成了智能FinTech(如图[33]中的图2所示)。

图1连接了主要的AIDS技术(上鳍)、EcoFin业务(下鳍)和它们的协同作用(如图脊所示)。共生体(金融科技鱼)培育了“智能金融科技”家族的多个合成领域: (1)智能金融核心业务,如智能银行、智能保险、智能贷款、智能交易、智能财富、智能区块链、智能支付和智能营销; (2) 经营、服务、决策智能化,如智慧监管、智慧风险、智慧安全、智慧会计、智慧审计、智慧治理、智慧运营、智慧管理; (3) 实现更智能的金融科技期货,如创造更智能的设计、规划和创新。我们开发了相应的辅助技术,以实现和自动化这些领域的“智能”,进一步产生相应的金融科技技术谱系:BankingTech、LendTech、WealthTech、tratech、PayTech、InsurTech、RiskTech和RegTech等。这些构成了“智能金融科技”的概念和家族。有兴趣的读者可以参考[32,33]和其他相关参考文献,了解这些不断发展的领域和技术。本文回顾的AIDS技术直接使上述智能金融科技业务转化为相应的智能金融科技技术。

文献中的许多评论参考文献或多或少都与金融领域的人工智能有关,本文引用的35篇左右的论文就说明了这一点。现有综述集中在(1)特定技术或方法的应用,如时间序列分析、文本挖掘、自然语言处理、数据挖掘、经典机器学习、进化计算、计算智能、量子计算或深度学习和(2)特定业务问题的应用。如市场趋势预测、股价预测、信用评分、欺诈检测、财务报告分析、定价与套期保值、市场营销、消费者行为分析、算法交易、社交商务、互联网金融等。据我们所知,没有全面的评估涉及技术和企业的整个生态系统及其协同效应,这是一个雄心勃勃的但具有挑战性的任务。[33]从金融应用的角度全面总结了几十年来金融领域的人工智能研究,这似乎是第一次对应用生态系统的构建、分析和评论进行全面的综述。本文对这篇综述进行了补充,但从技术角度进一步总结、结构、分析、比较和评论金融对AIDS的基本业务和数据挑战,以及数据驱动理解和解决金融问题的AIDS技术,以及未来金融领域人工智能研究的技术差距和机遇。这似乎是首次尝试对金融领域的人工智能技术生态系统进行全面但高度密集的概述。

成为VIP会员查看完整内容
0
55

强化学习是一种学习范式,它关注的是如何控制一个系统,从而最大化一个表示长期目标的数值性能度量。强化学习与监督学习的区别在于,对于学习器的预测,只会给予部分反馈。此外,这些预测可能通过影响被控制系统的未来状态而产生长期影响。因此,时间扮演着特殊的角色。强化学习的目标是发展有效的学习算法,以及了解算法的优点和局限性。强化学习之所以引起人们极大的兴趣,是因为它可以用于解决大量的实际应用,从人工智能到运筹学或控制工程的问题。在这本书中,我们专注于那些建立在强大的动态规划理论基础上的强化学习算法。我们给出了一个相当全面的学习问题的目录,描述了核心思想,关注大量的最先进的算法,然后讨论了它们的理论性质和局限性。

https://sites.ualberta.ca/~szepesva/rlbook.html

成为VIP会员查看完整内容
0
51

应用离散结构设计用于大学课程离散数学跨越两个学期。它最初的设计是为了给计算机科学专业的学生介绍在计算机科学中有用的数学主题。它也可以为数学专业的学生提供同样的目的,提供了对许多基本主题的第一次接触。

应用离散结构,是一个两个学期的本科文本在离散数学,侧重于结构性质的数学对象。这些包括矩阵、函数、图、树、格和代数结构。所讨论的代数结构是单体、群、环、场和向量空间。网站:http://discretemath.org应用离散结构已经被美国数学研究所批准作为其开放教科书计划的一部分。更多关于开放教科书的信息,请访问http://www.aimath.org/textbooks/。这个版本使用Mathbook XML (https://mathbook.pugetsound.edu/)创建。Al Doerr是马萨诸塞大学洛厄尔分校数学科学荣誉教授。他的兴趣包括抽象代数和离散数学。Ken levasserur是马萨诸塞大学洛厄尔分校数学科学教授。他的兴趣包括离散数学和抽象代数,以及它们在计算机代数系统中的实现。

成为VIP会员查看完整内容
0
51

这本书调研了大约20世纪90年代末机器学习的许多重要课题。我的意图是在理论和实践之间寻求一个中间桥梁带。笔记集中在机器学习的重要思想上——它既不是一本实践手册,也不是一个理论证明的概要。我的目标是为读者提供充分的准备,使一些关于机器学习的广泛文献易于理解。草稿只有200多页(包括扉页)。

这本书集中在机器学习的重要思想上。对于我所陈述的许多定理,我并没有给出证明,但对于形式的证明,我确实给出了可信的论据和引用。而且,我没有讨论许多在应用中具有实际重要性的问题;这本书不是机器学习实践手册。相反,我的目标是为读者提供充分的准备,使大量关于机器学习的文献易于理解。

学习,就像智力一样,涵盖了如此广泛的过程,很难精确定义。词典的定义包括这样的短语:“通过学习、指导或经验获得知识、或理解、或技能”和“通过经验改变行为倾向”。动物学家和心理学家研究动物和人类的学习。在这本书中,我们关注的是机器学习。动物和机器学习之间有一些相似之处。当然,机器学习的许多技术都来自心理学家的努力,他们通过计算模型使动物和人类学习的理论更加精确。机器学习研究人员正在探索的概念和技术似乎也可能阐明生物学习的某些方面。

成为VIP会员查看完整内容
0
50

本教程关注信息理论在统计学中的应用。被称为信息散度或Kullback-Leibler距离或相对熵的信息度量起着关键作用。涵盖的主题包括大偏差、假设检验、指数族的最大似然估计、列联表的分析以及具有“信息几何”背景的迭代算法。同时,还介绍了通用编码的理论,以及由通用编码理论驱动的最小描述长度原理的统计推理。

https://www.nowpublishers.com/article/Details/CIT-004

成为VIP会员查看完整内容
0
40

本书致力于概率信息测度理论及其在信息源和噪声信道编码定理中的应用。最终的目标是全面发展香农的通信数学理论,但大部分篇幅都用于证明香农编码定理所需的工具和方法。这些工具形成了遍历理论和信息论的共同领域,并包含了随机变量、随机过程和动力系统中的信息的几个定量概念。例如熵、互信息、条件熵、条件信息和相对熵(鉴别、Kullback-Leibler信息),以及这些量的极限标准化版本,如熵率和信息率。在考虑多个随机对象时,除了考虑信息之外,我们还会考虑随机对象之间的距离或变形,即一个随机对象被另一个随机对象表示的准确性。书的大部分与这些量的性质有关,特别是平均信息和扭曲的长期渐近行为,其中两个样本平均数和概率平均数是有兴趣的。

成为VIP会员查看完整内容
0
63

这本书的书名听起来有点神秘。如果这本书以一种错误的方式呈现了这个主题,人们为什么要读它呢?书中哪些地方做得特别“不对”?

在回答这些问题之前,让我先描述一下本文的目标受众。这本书是“荣誉线性代数”课程的课堂讲稿。这应该是高等数学学生的第一门线性代数课程。它的目标是一个学生,虽然还不是非常熟悉抽象推理,但愿意学习更严格的数学,在“烹饪书风格”的微积分类型课程。除了作为线性代数的第一门课程,它也应该是第一门向学生介绍严格证明、形式定义——简而言之,现代理论(抽象)数学风格的课程。

目标读者解释了基本概念和具体实例的非常具体的混合,它们通常出现在介绍性的线性代数文本中,具有更抽象的定义和高级书籍的典型构造。

https://www.math.brown.edu/streil/papers/LADW/LADW_2017-09-04.pdf

成为VIP会员查看完整内容
0
65

近年来,自然语言处理的研究方法取得了一些突破。这些突破来源于两个新的建模框架以及在计算和词汇资源的可用性的改进。在这个研讨会小册子中,我们将回顾这些框架,以一种可以被视为现代自然语言处理开端的方法论开始:词嵌入。我们将进一步讨论将嵌入式集成到端到端可训练方法中,即卷积神经网络和递归神经网络。这本小册子的第二章将讨论基于注意力的模型的影响,因为它们是最近大多数最先进的架构的基础。因此,我们也将在本章中花很大一部分时间讨论迁移学习方法在现代自然语言处理中的应用。最后一章将会是一个关于自然语言生成的说明性用例,用于评估最先进的模型的训练前资源和基准任务/数据集。

https://compstat-lmu.github.io/seminar_nlp_ss20/

在过去的几十年里,人工智能技术的重要性和应用不断得到关注。在当今时代,它已经与构成人类塑造环境的大部分环境密不可分。因此,商业、研究和开发、信息服务、工程、社会服务和医学等无数部门已经不可逆转地受到人工智能能力的影响。人工智能有三个主要领域组成了这项技术:语音识别、计算机视觉和自然语言处理(见Yeung (2020))。在这本书中,我们将仔细研究自然语言处理(NLP)的现代方法。

这本小册子详细介绍了用于自然语言处理的现代方法,如深度学习和迁移学习。此外,本研究亦会研究可用于训练自然语言处理任务的资源,并会展示一个将自然语言处理应用于自然语言生成的用例。

为了分析和理解人类语言,自然语言处理程序需要从单词和句子中提取信息。由于神经网络和其他机器学习算法需要数字输入来进行训练,因此应用了使用密集向量表示单词的词嵌入。这些通常是通过有多个隐藏层的神经网络学习的,深度神经网络。为了解决容易的任务,可以应用简单的结构神经网络。为了克服这些简单结构的局限性,采用了递归和卷积神经网络。因此,递归神经网络用于学习不需要预先定义最佳固定维数的序列的模型,卷积神经网络用于句子分类。第二章简要介绍了NLP中的深度学习。第三章将介绍现代自然语言处理的基础和应用。在第四章和第五章中,将解释和讨论递归神经网络和卷积神经网络及其在自然语言处理中的应用。

迁移学习是每个任务或领域的学习模型的替代选择。在这里,可以使用相关任务或领域的现有标记数据来训练模型,并将其应用到感兴趣的任务或领域。这种方法的优点是不需要在目标域中进行长时间的训练,并且可以节省训练模型的时间,同时仍然可以(在很大程度上)获得更好的性能。迁移学习中使用的一个概念是注意力,它使解码器能够注意到整个输入序列,或自注意,它允许一个Transformer 模型处理所有输入单词,并建模一个句子中所有单词之间的关系,这使得快速建模一个句子中的长期依赖性成为可能。迁移学习的概念将在小册子的第6章简要介绍。第七章将通过ELMo、ULMFiT和GPT模型来描述迁移学习和LSTMs。第八章将详细阐述注意力和自注意力的概念。第九章将迁移学习与自注意力相结合,介绍了BERT模型、GTP2模型和XLNet模型。

为NLP建模,需要资源。为了找到任务的最佳模型,可以使用基准测试。为了在基准实验中比较不同的模型,需要诸如精确匹配、Fscore、困惑度或双语评估替补学习或准确性等指标。小册子的第十章简要介绍了自然语言处理的资源及其使用方法。第11章将解释不同的指标,深入了解基准数据集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA,以及可以找到资源的预训练模型和数据库,如“带代码的论文”和“大坏的NLP数据库”。

在小册子的最后一章中,介绍了生成性NLP处理自然语言生成,从而在人类语言中生成可理解的文本。因此,不同的算法将被描述,聊天机器人和图像字幕将被展示,以说明应用的可能性。

本文对自然语言处理中各种方法的介绍是接下来讨论的基础。小册子的各个章节将介绍现代的NLP方法,并提供了一个更详细的讨论,以及各种示例的潜力和限制。

成为VIP会员查看完整内容
0
162

在本章中,我们将访问图神经网络(GNNs)的一些理论基础。GNNs最有趣的方面之一是,它们是根据不同的理论动机独立开发的。一方面,基于图信号处理理论开发了GNN,将欧氏卷积推广到非欧氏图域[Bruna et al., 2014]。然而,与此同时,神经信息传递方法(构成了大多数现代GNN的基础)被类比提出,用于图模型中的概率推理的信息传递算法[Dai等人,2016]。最后,基于GNN与weisfeler - lehman图同构检验的联系,许多研究对其进行了激发[Hamilton et al., 2017b]。

将三个不同的领域汇聚成一个单一的算法框架是值得注意的。也就是说,这三种理论动机中的每一种都有其自身的直觉和历史,而人们所采用的视角可以对模型的发展产生实质性的影响。事实上,我们推迟对这些理论动机的描述直到引入GNN模型本身之后,这并非偶然。在这一章,我们的目标是介绍这些背后的关键思想不同理论的动机,这样一个感兴趣的读者可以自由探索和组合这些直觉和动机,因为他们认为合适的。

成为VIP会员查看完整内容
0
65

高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
124
小贴士
相关VIP内容
专知会员服务
55+阅读 · 10月9日
专知会员服务
51+阅读 · 8月25日
专知会员服务
51+阅读 · 5月4日
专知会员服务
50+阅读 · 3月31日
专知会员服务
40+阅读 · 3月27日
专知会员服务
63+阅读 · 3月23日
专知会员服务
65+阅读 · 2月28日
专知会员服务
162+阅读 · 2月22日
专知会员服务
65+阅读 · 2020年8月25日
专知会员服务
124+阅读 · 2020年5月2日
相关论文
Lei Ke,Martin Danelljan,Xia Li,Yu-Wing Tai,Chi-Keung Tang,Fisher Yu
0+阅读 · 11月26日
Jian Yang,Gang Xiao,Yulong Shen,Wei Jiang,Xinyu Hu,Ying Zhang,Jinghui Peng
17+阅读 · 10月1日
GeomCA: Geometric Evaluation of Data Representations
Petra Poklukar,Anastasia Varava,Danica Kragic
8+阅读 · 5月26日
Confidence-based Graph Convolutional Networks for Semi-Supervised Learning
Shikhar Vashishth,Prateek Yadav,Manik Bhandari,Partha Talukdar
5+阅读 · 2019年2月12日
Fabian Pedregosa,Gaël Varoquaux,Alexandre Gramfort,Vincent Michel,Bertrand Thirion,Olivier Grisel,Mathieu Blondel,Andreas Müller,Joel Nothman,Gilles Louppe,Peter Prettenhofer,Ron Weiss,Vincent Dubourg,Jake Vanderplas,Alexandre Passos,David Cournapeau,Matthieu Brucher,Matthieu Perrot,Édouard Duchesnay
3+阅读 · 2018年6月5日
Siqi Liu,Zhenhai Zhu,Ning Ye,Sergio Guadarrama,Kevin Murphy
6+阅读 · 2018年3月12日
Avik Ray,Joe Neeman,Sujay Sanghavi,Sanjay Shakkottai
3+阅读 · 2018年2月24日
Hyrum S. Anderson,Anant Kharkar,Bobby Filar,David Evans,Phil Roth
3+阅读 · 2018年1月30日
Ming Jin,Andreas Damianou,Pieter Abbeel,Costas Spanos
3+阅读 · 2017年5月4日
Top