Counterfactual regret Minimization (CFR) is an effective algorithm for solving extensive games with imperfect information (IIEG). However, CFR is only allowed to apply in a known environment such as the transition functions of the chance player and reward functions of the terminal nodes are aware in IIEGs. For uncertain scenarios like the cases under Reinforcement Learning (RL), variational information maximizing exploration (VIME) provides a useful framework for exploring environments using information gain. In this paper, we propose a method named VCFR that combines CFR with information gain to calculate Nash Equilibrium (NE) in the scenario of IIEG under RL. By adding information gain to the reward, the average strategy calculated by CFR can be directly used as an interactive strategy, and the exploration efficiency of the algorithm to uncertain environments has been significantly improved. Experimentally, The results demonstrate that this approach can not only effectively reduce the number of interactions with the environment, but also find an approximate NE.


翻译:反事实遗憾最小化(CFR)是解决信息不完善的大游戏的有效算法(IIEG),然而,CFR只被允许在已知的环境中应用,例如机会玩家的过渡功能和终端节点的奖赏功能在IIEGs中已经意识到。对于诸如加强学习(RL)下的案例等不确定的情景,变异信息最大化探索(VIME)为利用信息收益探索环境提供了一个有用的框架。在本文中,我们提出了一个名为VCFR(VCFR)的方法,将CFR(CFR)与根据REG(IIEG)方案计算 Nash Equilibrium(NE)的信息收益结合起来。通过将信息收益添加到收益中,CFR计算的平均战略可以直接用作互动战略,并大大提高了对不确定环境的算法的探索效率。实验结果表明,这一方法不仅能够有效减少与环境的互动次数,而且还可以找到近似NE。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
专知会员服务
14+阅读 · 2021年5月21日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
OpenAI丨深度强化学习关键论文列表
中国人工智能学会
17+阅读 · 2018年11月10日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Arxiv
0+阅读 · 2021年12月6日
Arxiv
0+阅读 · 2021年12月6日
Arxiv
8+阅读 · 2021年5月20日
Arxiv
6+阅读 · 2020年12月8日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
OpenAI丨深度强化学习关键论文列表
中国人工智能学会
17+阅读 · 2018年11月10日
【OpenAI】深度强化学习关键论文列表
专知
11+阅读 · 2018年11月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Top
微信扫码咨询专知VIP会员