【NeurIPS 2020 Tutorial】离线强化学习:从算法到挑战，80页ppt

强化学习(RL)为基于学习的控制提供了一种数学形式，允许通过优化用户指定的奖励函数来获得接近最优的行为。最近，由于在许多领域的出色应用，RL方法受到了相当多的关注，但事实上，RL需要一个基本的在线学习范式，这是其广泛采用的最大障碍之一。在线交互通常是不切实际的，因为数据收集是昂贵的(例如，在机器人或教育代理中)或危险的(例如，在自动驾驶或医疗保健中)。另一种方法是利用RL算法，在不需要在线交互的情况下有效地利用以前收集的经验。这被称为批处理RL、脱机RL或数据驱动RL。这样的算法对将数据集转化为强大的决策引擎有着巨大的希望，类似于数据集在视觉和NLP中被证明是成功的关键。在本教程中，我们的目标是为读者提供既可以利用离线RL作为工具，又可以在这个令人兴奋的领域进行研究的概念性工具。我们的目标是提供对离线RL的挑战的理解，特别是在现代深度RL方法的背景下，并描述一些潜在的解决方案。我们将以一种从业者易于理解的方式呈现经典和最新的方法，并讨论在这一领域开展研究的理论基础。我们将以讨论待解问题来结束。

https://sites.google.com/view/offlinerltutorial-neurips2020/home