主题: Comprehensive Review of Deep Reinforcement Learning Methods and Applicationsin Economic

摘要: 深度强化学习(DRL)方法在经济学中的应用已成倍增加。 DRL通过从强化学习(RL)和深度学习(DL)的广泛功能来处理复杂的动态业务环境提供了广阔的机遇。 DRL的特点是可伸缩性,它有可能结合经济数据的噪声和非线性模式应用于高维问题。在这项工作中,我们首先考虑对经济学中各种应用中的DL,RL和深层RL方法进行简要回顾,以提供对最新技术水平的深入了解。此外,研究了应用于经济应用的DRL体系结构,以突出其复杂性,鲁棒性,准确性,性能,计算任务,风险约束和获利能力。调查结果表明,与传统算法相比,DRL可以提供更好的性能和更高的精度,同时在存在风险参数和不确定性不断增加的情况下面临实际的经济问题。

成为VIP会员查看完整内容
0
37

相关内容

深度强化学习 (DRL) 是一种使用深度学习技术扩展传统强化学习方法的一种机器学习方法。 传统强化学习方法的主要任务是使得主体根据从环境中获得的奖赏能够学习到最大化奖赏的行为。然而,传统无模型强化学习方法需要使用函数逼近技术使得主体能够学习出值函数或者策略。在这种情况下,深度学习强大的函数逼近能力自然成为了替代人工指定特征的最好手段并为性能更好的端到端学习的实现提供了可能。

导航是移动机器人所需要的最基本的功能之一,允许它们从一个源穿越到一个目的地。传统的办法严重依赖于预先确定的地图的存在,这种地图的取得时间和劳力都很昂贵。另外,地图在获取时是准确的,而且由于环境的变化会随着时间的推移而退化。我们认为,获取高质量地图的严格要求从根本上限制了机器人系统在动态世界中的可实现性。本论文以无地图导航的范例为动力,以深度强化学习(DRL)的最新发展为灵感,探讨如何开发实用的机器人导航。

DRL的主要问题之一是需要具有数百万次重复试验的不同实验设置。这显然是不可行的,从一个真实的机器人通过试验和错误,所以我们反而从一个模拟的环境学习。这就引出了第一个基本问题,即弥合从模拟环境到真实环境的现实差距,该问题将在第3章讨论。我们把重点放在单眼视觉避障的特殊挑战上,把它作为一个低级的导航原语。我们开发了一种DRL方法,它在模拟世界中训练,但可以很好地推广到现实世界。

在现实世界中限制移动机器人采用DRL技术的另一个问题是训练策略的高度差异。这导致了较差的收敛性和较低的整体回报,由于复杂和高维搜索空间。在第4章中,我们利用简单的经典控制器为DRL的局部导航任务提供指导,避免了纯随机的初始探索。我们证明,这种新的加速方法大大减少了样本方差,并显著增加了可实现的平均回报。

我们考虑的最后一个挑战是无上限导航的稀疏视觉制导。在第五章,我们提出了一种创新的方法来导航基于几个路点图像,而不是传统的基于视频的教学和重复。我们证明,在模拟中学习的策略可以直接转移到现实世界,并有能力很好地概括到不可见的场景与环境的最小描述。

我们开发和测试新的方法,以解决障碍规避、局部引导和全球导航等关键问题,实现我们的愿景,实现实际的机器人导航。我们将展示如何将DRL作为一种强大的无模型方法来处理这些问题

成为VIP会员查看完整内容
0
57

主题: A Review on Deep Learning Techniques for Video Prediction

摘要: 预测,预期和推理未来结果的能力是智能决策系统的关键组成部分。鉴于深度学习在计算机视觉中的成功,基于深度学习的视频预测已成为有前途的研究方向。视频预测被定义为一种自我监督的学习任务,它代表了一个表示学习的合适框架,因为它展示了提取自然视频中潜在模式的有意义的表示的潜在能力。视频序列预测的深度学习方法。我们首先定义视频预测的基础知识,以及强制性的背景概念和最常用的数据集。接下来,我们会仔细分析根据拟议的分类法组织的现有视频预测模型,突出显示它们的贡献及其在该领域的意义。数据集和方法的摘要均附有实验结果,有助于在定量基础上评估现有技术。通过得出一些一般性结论,确定开放研究挑战并指出未来的研究方向来对本文进行总结。

成为VIP会员查看完整内容
0
41

深度强化学习(deep reinforcement learning, DRL)方法在经济学中的普及度呈指数级增长。DRL通过从增强学习(RL)到深度学习(DL)的广泛功能,为处理复杂的动态业务环境提供了巨大的机会。DRL的特点是可扩展性,有可能应用于高维问题,并结合经济数据的噪声和非线性模式。本文首先对DL、RL和深度RL方法在经济学中不同应用的简要回顾,提供了对现有技术的深入了解。此外,为了突出DRL的复杂性、鲁棒性、准确性、性能、计算任务、风险约束和盈利能力,还研究了DRL在经济应用中的体系结构。调查结果表明,与传统算法相比,DRL在面临风险参数和不确定性不断增加的现实经济问题时,可以提供更好的性能和更高的精度。

成为VIP会员查看完整内容
0
83

主题: Hyper-Parameter Optimization: A Review of Algorithms and Applications

摘要: 自深度神经网络发展以来,它们为人们的日常生活做出了巨大的贡献。机器学习在日常生活的方方面面提供了比人类所能提供的更合理的建议。然而,尽管取得了这一成就,神经网络的设计和训练仍然具有挑战性和不可预测的过程,这些过程被称为炼金术。为了降低普通用户的技术门槛,自动化超参数优化(HPO)已成为学术界和工业界的热门话题。本文对高性能氧最基本的课题进行了综述。第一节介绍了与模型训练和结构有关的关键超参数,并讨论了它们的重要性和定义取值范围的方法。然后,重点研究了主要的优化算法及其适用性,包括它们的效率和精度,特别是对于深度学习网络。本研究接下来回顾了HPO的主要服务和工具包,比较了它们对最新搜索算法的支持、与主要深度学习框架的可行性以及用户设计的新模块的可扩展性。本文总结了HPO应用于深度学习中存在的问题,优化算法的比较,以及在计算资源有限的情况下模型评估的突出方法。

成为VIP会员查看完整内容
0
43

题目

深度残差强化学习,Deep Residual Reinforcement Learning

关键字

强化学习,残差算法,机器学习

简介

我们在无模型和基于模型的强化学习设置中重新研究残差算法。 我们建议使用双向目标网络技术来稳定残差算法,从而产生DDPG的残差版本,该版本明显优于DeepMind Control Suite基准测试中的原始DDPG。 此外,我们发现残差算法是解决基于模型的规划中分布不匹配问题的有效方法。 与现有的TD(k)方法相比,我们的基于残差的方法对模型的假设更弱,并且性能提升更大。

作者

Shangtong Zhang, Wendelin Boehmer, Shimon Whiteson,来自牛津大学

成为VIP会员查看完整内容
0
50

题目: The Deep Learning Compiler: A Comprehensive Survey

摘要: 在不同的DL硬件上部署各种深度学习(deep learning,DL)模型的困难,推动了DL编译器在社区中的研究和开发。业界和学术界都提出了一些DL编译器,如Tensorflow XLA和TVM。类似地,DL编译器将不同DL框架中描述的DL模型作为输入,然后为不同的DL硬件生成优化代码作为输出。然而,现有的调查没有全面分析DL编译器的独特设计。在本文中,我们对现有DL编译器进行了全面的调查,通过对常用设计的详细剖析,着重介绍了面向DL的多级IRS,以及前端/后端优化。具体来说,我们提供了一个全面的比较现有的DL编译器从各个方面。此外,我们还详细分析了多级IR设计和编译器优化技术。最后,提出了DL编译器潜在的研究方向。这是第一篇针对DL编译器独特设计的综述性论文,希望能为以后的研究铺平道路。

成为VIP会员查看完整内容
0
27

论文题目

视频游戏中深度强化学习的研究综述,A Survey of Deep Reinforcement Learning in Video

论文摘要

摘要深度强化学习(DRL)自提出以来取得了很大的成就。通常,DRL代理在每个步骤都接收高维输入,并根据基于深度神经网络的策略进行操作。这种学习机制通过端到端的方法更新策略以最大化回报。本文综述了DRL方法的研究进展,包括基于价值的方法、基于策略梯度的方法和基于模型的方法,比较了它们的主要技术和性能,并指出DRL在智能游戏中的重要作用。我们还回顾了DRL在各种电子游戏中的成就,包括经典的街机游戏、第一人称视角游戏和多智能体实时战略游戏,从2D到3D,从单智能体到多智能体,大量带有DRL的电子游戏AIs都取得了超人的性能,在这个领域还有一些挑战。因此,我们还讨论了将DRL方法应用于该领域的一些关键点,包括探索性开发、样本效率、泛化和迁移、多智能体学习、不完全信息和延迟备用研究,以及一些研究方向。

论文作者

Kun Shao, Zhentao Tang, Yuanheng Zhu,IEEE成员。Nannan Li, Dongbin Zhao,IEEE资深会员。

成为VIP会员查看完整内容
0
27

题目: Deep Learning for Visual Tracking: A Comprehensive Survey

简介: 视觉目标跟踪是计算机视觉领域中最受关注和最具挑战性的研究课题之一。考虑到这个问题的不适定性质及其在现实世界中广泛应用的情况,已经建立了大量的大型基准数据集,在这些数据集上已经开发了相当多的方法,并在近年来取得了显著进展——主要是最近基于深度学习(DL)的方法。这项综述的目的是系统地调查当前基于深度学习的视觉跟踪方法、基准数据集和评估指标。它也广泛地评价和分析领先的视觉跟踪方法。首先,从网络体系结构、网络利用、视觉跟踪网络训练、网络目标、网络输出、相关滤波优势利用六个关键方面,总结了基于dll的方法的基本特征、主要动机和贡献。其次,比较了常用的视觉跟踪基准及其各自的性能,总结了它们的评价指标。第三,在OTB2013、OTB2015、VOT2018和LaSOT等一系列成熟的基准上,全面检查最先进的基于dll的方法。最后,通过对这些最先进的方法进行定量和定性的批判性分析,研究它们在各种常见场景下的优缺点。它可以作为一个温和的使用指南,让从业者在什么时候、在什么条件下选择哪种方法。它还促进了对正在进行的问题的讨论,并为有希望的研究方向带来光明。

成为VIP会员查看完整内容
Deep_Learning_for_Visual_Tracking.pdf
0
44

论文题目: Blockchain for Future Smart Grid: A Comprehensive Survey

论文摘要: 智能电网的概念已被引入,作为常规电网的新视野,以寻求一种整合绿色和可再生能源技术的有效方法。通过这种方式,连接互联网的智能电网(也称为能源互联网)也正在作为一种创新的方法出现,以确保随时随地的能源供应。这些发展的最终目标是建立一个可持续发展的社会。但是,对于传统的集中式网格系统而言,集成和协调大量不断增长的连接可能是一个具有挑战性的问题。因此,智能电网正在从其集中形式转变为分散式拓扑。另一方面,区块链具有一些出色的功能,使其成为智能电网范例的有前途的应用程序。本文旨在对区块链在智能电网中的应用进行全面的调查。因此,我们确定了可以通过区块链解决的智能电网场景的重大安全挑战。然后,我们提出了许多基于区块链的最新研究成果,这些研究成果发表在不同的文献中,涉及智能电网领域的安全问题。我们还总结了最近出现的几个相关的实用项目,试验和产品。最后,我们讨论了将区块链应用于智能电网安全问题的基本研究挑战和未来方向。

成为VIP会员查看完整内容
0
25

题目: A Survey and Critique of Multiagent Deep Reinforcement Learning

简介: 近年来,深度强化学习(RL)取得了出色的成绩。这使得应用程序和方法的数量急剧增加。最近的工作探索了单智能体深度强化之外的学习,并考虑了多智能体深度强化学习的场景。初步结果显示在复杂的多智能体领域中的成功,尽管有许多挑战需要解决。本文的主要目的是提供有关当前多智能体深度强化学习(MDRL)文献的概述。此外,我们通过更广泛的分析对概述进行补充:(i)我们回顾了以前RL中介绍的基础内容,并强调了它们如何适应多智能深度强化学习设置。 (ii)我们为该领域的新开业者提供一般指导:描述从MDRL工作中汲取的经验教训,指出最新的基准并概述研究途径。 (iii)我们提出了MDRL的实际挑战(例如,实施和计算需求)。

作者介绍: Pablo Hernandez-Leal,Borealis AI的研究员,在此之前,曾与Michael Kaisers一起参与过阿姆斯特丹CWI的智能和自治系统。研究方向:单智能体环境开发的算法以及多智能体。计划开发一种算法,该算法使用博弈论,贝叶斯推理和强化学习中的模型和概念在战略交互中得到使用。

成为VIP会员查看完整内容
0
92
小贴士
相关VIP内容
专知会员服务
92+阅读 · 2019年8月30日
相关论文
Mingzhen Li,Yi Liu,Xiaoyan Liu,Qingxiao Sun,Xin You,Hailong Yang,Zhongzhi Luan,Depei Qian
10+阅读 · 2020年2月6日
Graph Neural Networks: A Review of Methods and Applications
Jie Zhou,Ganqu Cui,Zhengyan Zhang,Cheng Yang,Zhiyuan Liu,Lifeng Wang,Changcheng Li,Maosong Sun
9+阅读 · 2019年3月7日
Tuomas Haarnoja,Aurick Zhou,Sehoon Ha,Jie Tan,George Tucker,Sergey Levine
6+阅读 · 2018年12月26日
Logically-Constrained Reinforcement Learning
Mohammadhosein Hasanbeig,Alessandro Abate,Daniel Kroening
3+阅读 · 2018年12月6日
Chi Nhan Duong,Khoa Luu,Kha Gia Quach,Nghia Nguyen,Eric Patterson,Tien D. Bui,Ngan Le
3+阅读 · 2018年11月27日
Deep Reinforcement Learning: An Overview
Yuxi Li
12+阅读 · 2018年11月26日
Relational Deep Reinforcement Learning
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
6+阅读 · 2018年6月28日
Benjamin Recht
5+阅读 · 2018年6月25日
Yuxiang Wu,Baotian Hu
6+阅读 · 2018年4月19日
Xiangyu Zhao,Liang Zhang,Zhuoye Ding,Dawei Yin,Yihong Zhao,Jiliang Tang
12+阅读 · 2018年1月5日
Top
微信扫码咨询专知VIP会员