如何学习良好的潜在表示是现代机器学习时代的一个重要课题。对于强化学习,使用一个好的表示使决策过程更加有效。本次演讲,我将介绍我们的工作,构建基于任务的潜在操作空间,用于基于搜索的黑盒函数优化,寻找策略变更的表示,该表示支持在不完全信息协同博弈中联合策略搜索,以及不同的表示如何影响RL探索。

视频:

https://www.youtube.com/watch?v=sH4a2a0ntUA

成为VIP会员查看完整内容
0
16

相关内容

强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

强化学习(RL)的一个主要挑战是在探索环境以收集信息和利用到目前为止观察到的样本来执行“好的”(近乎最佳的)行动之间进行权衡。在本研讨会中,我们将回顾在连续状态-动作空间中如何将探索技术与函数近似相结合。我们将特别关注探索机制与深度学习技术的整合。研讨会应提供足够的理论和算法背景,以了解现有的技术,并可能设计新的方法。在整个讲座中,我们将讨论开放性问题和未来可能的研究方向。

https://rl-vs.github.io/rlvs2021/exploration.html

成为VIP会员查看完整内容
0
30

元学习可以让机器学习新的算法。这是一个新兴且快速发展的机器学习研究领域,对所有人工智能研究都有影响。最近的成功案例包括自动模型发现、少枪学习、多任务学习、元强化学习,以及教机器阅读、学习和推理。正如人类不会从头开始学习新任务,而是利用之前所学的知识一样,元学习是高效和稳健学习的关键。本教程将介绍该领域及其应用的重要数学基础,包括这个领域中当前技术水平的关键方法,该领域对众多AAAI参与者来说越来越重要。

https://sites.google.com/mit.edu/aaai2021metalearningtutorial

内容目录:

  • 元学习导论
  • 多任务学习
  • 元学习
  • 自动机器学习
  • 应用
成为VIP会员查看完整内容
0
47

强化学习(RL)为基于学习的控制提供了一种数学形式,允许通过优化用户指定的奖励函数来获得接近最优的行为。最近,由于在许多领域的出色应用,RL方法受到了相当多的关注,但事实上,RL需要一个基本的在线学习范式,这是其广泛采用的最大障碍之一。在线交互通常是不切实际的,因为数据收集是昂贵的(例如,在机器人或教育代理中)或危险的(例如,在自动驾驶或医疗保健中)。另一种方法是利用RL算法,在不需要在线交互的情况下有效地利用以前收集的经验。这被称为批处理RL、脱机RL或数据驱动RL。这样的算法对将数据集转化为强大的决策引擎有着巨大的希望,类似于数据集在视觉和NLP中被证明是成功的关键。在本教程中,我们的目标是为读者提供既可以利用离线RL作为工具,又可以在这个令人兴奋的领域进行研究的概念性工具。我们的目标是提供对离线RL的挑战的理解,特别是在现代深度RL方法的背景下,并描述一些潜在的解决方案。我们将以一种从业者易于理解的方式呈现经典和最新的方法,并讨论在这一领域开展研究的理论基础。我们将以讨论待解问题来结束。

https://sites.google.com/view/offlinerltutorial-neurips2020/home

成为VIP会员查看完整内容
0
27

https://gm-neurips-2020.github.io/

在这次演讲中,Graph Mining team的创始人Vahab对本图挖掘和学习进行了高层次的介绍。这个演讲涉及到什么是图,为什么它们是重要的,以及它们在大数据世界中的位置。然后讨论了组成图挖掘和学习工具箱的核心工具,并列出了几个规范的用例。它还讨论了如何结合算法、系统和机器学习来在不同的分布式环境中构建一个可扩展的图学习系统。最后,它提供了关于Google一个简短的历史图挖掘和学习项目。本次演讲将介绍接下来的演讲中常见的术语和主题。

成为VIP会员查看完整内容
0
68

Model-Based Methods in Reinforcement Learning 本教程对基于模型的强化学习(MBRL)领域进行了广泛的概述,特别强调了深度方法。MBRL方法利用环境模型来做决策——而不是将环境看作一个黑箱——并且提供了超越无模型RL的独特机会和挑战。我们将讨论学习过渡和奖励模式的方法,如何有效地使用这些模式来做出更好的决策,以及计划和学习之间的关系。我们还强调了在典型的RL设置之外利用世界模型的方式,以及在设计未来的MBRL系统时,从人类认知中可以得到什么启示。

成为VIP会员查看完整内容
0
24

理想情况下,我们希望将两个几何对象插入到一个函数中,然后通过函数来说明它们之间的相似性。这将允许我们回答关于下游应用程序中几何数据的不同层次上的各种问题。然而,对于高级任务,如计算样式相似度或三维形状之间的顶点到顶点映射,直接在原始几何数据上进行这些操作是困难的,因为更抽象的任务需要更结构化的聚合信息。实现这种相似性函数的一种方法是首先计算这些数据到嵌入空间的映射,从而对不同几何元素之间的有意义的关系进行编码,例如在风格上,更相似的形状嵌入得更紧密。通过利用这个嵌入空间,我们可以计算并输出相似度度量。然而,手工构建保存这些属性的映射是很困难的,因为为越来越抽象的任务制定显式规则或模型变得越来越具有挑战性。因此,我们使用了由人类提供的与任务相关的元信息的几何数据集合。这允许我们通过使用神经网络灵活地制定地图计算,而不用对映射图本身的形式做太多假设。为了从广泛可用的机器学习技术中获益,我们必须首先考虑如何选择合适的几何数据表示作为各种学习模型的输入。具体来说,根据数据源的可用性和任务的特定需求,我们从图像、点云和三角形网格计算嵌入。一旦我们找到了对输入进行编码的合适方法,我们就会探索不同的方法来塑造学习到的中间域(嵌入),这超越了直接的基于分类分布的交叉熵最小化方法。

https://sites.google.com/view/geometry-learning-foundation/schedule#h.p_am99P6ELk_gL

成为VIP会员查看完整内容
0
22

本教程对基于模型的强化学习(MBRL)领域进行了广泛的概述,特别强调了深度方法。MBRL方法利用环境模型来进行决策——而不是将环境视为一个黑箱——并且提供了超越无模型RL的独特机会和挑战。我们将讨论学习过渡和奖励模式的方法,如何有效地使用这些模式来做出更好的决策,以及规划和学习之间的关系。我们还强调了在典型的RL设置之外利用世界模型的方式,以及在设计未来的MBRL系统时,从人类认知中可以得到什么启示。

https://sites.google.com/view/mbrl-tutorial

近年来,强化学习领域取得了令人印象深刻的成果,但主要集中在无模型方法上。然而,社区认识到纯无模型方法的局限性,从高样本复杂性、需要对不安全的结果进行抽样,到稳定性和再现性问题。相比之下,尽管基于模型的方法在机器人、工程、认知和神经科学等领域具有很大的影响力,但在机器学习社区中,这些方法的开发还不够充分(但发展迅速)。它们提供了一系列独特的优势和挑战,以及互补的数学工具。本教程的目的是使基于模型的方法更被机器学习社区所认可和接受。鉴于最近基于模型的规划的成功应用,如AlphaGo,我们认为对这一主题的全面理解是非常及时的需求。在教程结束时,观众应该获得:

  • 数学背景,阅读并跟进相关文献。
  • 对所涉及的算法有直观的理解(并能够访问他们可以使用和试验的轻量级示例代码)。
  • 在应用基于模型的方法时所涉及到的权衡和挑战。
  • 对可以应用基于模型的推理的问题的多样性的认识。
  • 理解这些方法如何适应更广泛的强化学习和决策理论,以及与无模型方法的关系。
成为VIP会员查看完整内容
0
71
小贴士
相关VIP内容
专知会员服务
26+阅读 · 4月7日
专知会员服务
130+阅读 · 2020年11月24日
专知会员服务
24+阅读 · 2020年10月26日
专知会员服务
22+阅读 · 2020年7月24日
专知会员服务
71+阅读 · 2020年7月20日
相关论文
Fanfei Chen,Paul Szenher,Yewei Huang,Jinkun Wang,Tixiao Shan,Shi Bai,Brendan Englot
0+阅读 · 5月11日
Alexander Cui,Sergio Casas,Abbas Sadat,Renjie Liao,Raquel Urtasun
0+阅读 · 5月6日
Lixin Zou,Long Xia,Linfang Hou,Xiangyu Zhao,Dawei Yin
0+阅读 · 5月5日
Yichao Zhou,Haozhi Qi,Yi Ma
0+阅读 · 5月4日
Sergei Ivanov,Liudmila Prokhorenkova
3+阅读 · 1月21日
Maayan Shvo,Andrew C. Li,Rodrigo Toro Icarte,Sheila A. McIlraith
6+阅读 · 2020年10月6日
Erwan Lecarpentier,David Abel,Kavosh Asadi,Yuu Jinnai,Emmanuel Rachelson,Michael L. Littman
3+阅读 · 2020年1月17日
GEP-PG: Decoupling Exploration and Exploitation in Deep Reinforcement Learning Algorithms
Cédric Colas,Olivier Sigaud,Pierre-Yves Oudeyer
3+阅读 · 2018年8月17日
A Multi-Objective Deep Reinforcement Learning Framework
Thanh Thi Nguyen
9+阅读 · 2018年6月27日
Top