OpenAI 首次突破，AI 在 Dota 2 五对五团战中打败人类- 专知

OpenAI 首次突破，AI 在 Dota 2 五对五团战中打败人类

2017 年，OpenAI 在 Dota2 TI 决赛现场以 1 对 1 solo 的方式击败了「Dota2」世界顶级玩家。经过一年的发展，由马斯克和 Sam Altman 创立的著名人工智能非营利组织 OpenAI 于昨日宣布其由 5 个神经网络组成的算法 OpenAI Five，已经能够战胜 Dota 2 的业余玩家队伍，且平均天梯分数超过 4200 分。

Dota2 是一个实时的 5 v 5 策略游戏，每个玩家控制一个英雄。在广袤的地图上推倒对方的防御塔和遗迹，才能获得最终的胜利。玩家们使用的英雄有各自的强项、弱项、技能和属性。在游戏里，玩家需要获得金钱，购买和升级装备，思考战略，还要和对手厮杀。

OpenAI 开发了一套名为“ OpenAI Five”的算法，如果独立的看这种算法，其实并没有什么特别的，就是一种学会了如何玩 Dota 2 的神经网络，而且此前也有AI算法在一对一 Dota 2 比赛中胜过人类玩家的先例。但 AI 的这次胜利却有着完全不同的意义，因为5套算法间已经学会了如何与“队友”协作。

通过自我对抗学习，OpenAIFive 每天相当于玩 180 年的游戏。训练上，它使用256 块 GPU、12 万 8000 个 CPU 核心使用近端策略优化（Proximal Policy Optimization）方法进行训练，这是在OpenAI去年建立的 solo Dota2 系统上的扩增。

尽管目前OpenAI Five 还只能在有限条件下打 Dota 2。AI只会使用游戏所提供的 115 位可选英雄中的 5 位，且人类玩家不能使用真假眼、魔瓶等道具。但人工智能专家表示，这一成就意义重大。匹兹堡卡内基梅隆大学的研究员 Noam Brown 说：“ Dota2 是一个极其复杂的游戏，能打败强大的业余玩家就已经很不容易了，而且，处理 Dota2 这种大型游戏中的隐藏信息是一个很大的挑战。”

从Deep Blue到AlphaGo，再到现在的Dota2，将人工智能与人类之间进行较量，一直是计算机科学领域的有趣传统。

与围棋和国际象棋等回合制的游戏模式不同，虽然玩 Dota 2 所需的战略不像国际象棋和围棋那样有更多自由发挥的空间，但Dota2更需要大量的实时决策以及队友之间的默契合作。

玩 Dota 的 AI 需要掌握以下技能：

长线策略。Dota 游戏平均每秒 30 帧，一场时常 45 分钟，大概 8 万 tick。大部分操作（例如操纵英雄移动）都有单独的小影响，但一些个体行为可能会影响到游戏战略，例如 TP 回家。此外，还有一些策略可能会终结整场游戏。

OpenAI Five 每 4 帧观察一次，产生了 2 万个决策。相比之下，国际象棋一般在 40 步之前就结束了，围棋大概 150 步，但这些游戏每一步都很有策略性。

局部可观测状态。己方单位和建筑的视野都有限。地图的其他部分是没有视野的，可能藏有敌人和敌方策略。高玩通常需要基于不完整数据做推理，以及建模敌方意图。而国际象棋和围棋都是完全信息博弈。

高维、持续的行为空间。在 Dota 中，每个英雄能采取数十种行为，而且许多行为要么面向敌方单位，要么点地移动位置。我们把这个空间离散到每个英雄 17 万种可能的操作（不是每 tick 都有效，例如在技能冷却时放技能就是无效操作）；不计算连续部分，每 tick 平均 1000 个可能有效行为。国际象棋的行为数量大概是 35，围棋 250。

高维、连续的观察空间。Dota 是在一张包含 10 个英雄、20 几个塔、数十个 NPC 单位的地图上操作的游戏，此外还有神符、树、眼卫等。通过 Valve（Dota 2 的运营公司）的 Bot API，我们的模型把 Dota 游戏视为 2 万个状态，也就代表人类在游戏中可获取到的所有信息。国际象棋代表大概 70 个枚举值（8x8 的棋盘，6 类棋子和较小的历史信息）。围棋大概有 400 个枚举值（19x19 的棋盘，黑白 2 子，加上 Ko）。

尽管OpenAI在本次Dota 2 五对五团战中打败人类，但OpenAI仍需要一些限制条件，比如，和AI比赛的人类对手必须遵守某些规则，包括不使用某些物品和策略。

OpenAI将在下个月举办一场Dota 2巡回赛，展示自己在与顶级玩家竞争时的实力。

参考链接：

https://blog.openai.com/openai-five/

-END-

专 · 知

人工智能领域主题知识资料查看与加入专知人工智能服务群：

【专知AI服务计划】专知AI知识技术服务会员群加入与人工智能领域26个主题知识资料全集获取。欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！