We study the constrained reinforcement learning problem, in which an agent aims to maximize the expected cumulative reward subject to a constraint on the expected total value of a utility function. In contrast to existing model-based approaches or model-free methods accompanied with a `simulator', we aim to develop the first model-free, simulator-free algorithm that achieves a sublinear regret and a sublinear constraint violation even in large-scale systems. To this end, we consider the episodic constrained Markov decision processes with linear function approximation, where the transition dynamics and the reward function can be represented as a linear function of some known feature mapping. We show that $\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$ regret and $\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$ constraint violation bounds can be achieved, where $d$ is the dimension of the feature mapping, $H$ is the length of the episode, and $T$ is the total number of steps. Our bounds are attained without explicitly estimating the unknown transition model or requiring a simulator, and they depend on the state space only through the dimension of the feature mapping. Hence our bounds hold even when the number of states goes to infinity. Our main results are achieved via novel adaptations of the standard LSVI-UCB algorithms. In particular, we first introduce primal-dual optimization into the LSVI-UCB algorithm to balance between regret and constraint violation. More importantly, we replace the standard greedy selection with respect to the state-action function in LSVI-UCB with a soft-max policy. This turns out to be key in establishing uniform concentration for the constrained case via its approximation-smoothness trade-off. We also show that one can achieve an even zero constraint violation while still maintaining the same order with respect to $T$.
翻译:我们研究限制强化学习问题, 代理商的目标是最大限度地实现预期累积奖赏, 但要限制公用事业功能的预期总值。 与现有的基于模型的方法或无模型的方法以及“ 模拟器” 相比, 我们的目标是开发第一个无模型的、 无模拟的算法, 即使在大规模系统中, 也实现亚线性遗憾和亚线性约束违反。 为此, 我们考虑以线性函数近距离表示的附带限制的马尔多夫决定程序, 其中过渡动态和奖赏功能可以作为某些已知功能映射的线性函数。 我们显示, 以美元表示的基于模型的方法或无模型的方法, 以美元表示的是, 以美元表示的软性约束, 以美元表示的直线性功能为直线性, 以美元表示的直线性函数值表示, 以美元表示的直线性比值表示的直线性, 以美元表示的直线性比值表示的比值, 以直线性表示的比值表示的比值表示的比值表示的比值, 也显示的比值。 以不言的比值表示的比值表示的比值表示的比值显示的比值显示的比值, 。, 。,, 以正方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方表示的比方, 。