2:0!Dota2世界冠军OG,被OpenAI按在地上摩擦

2019 年 4 月 14 日 虎嗅网


本文来自微信公众号:量子位(ID:QbitAI),作者:夏乙、晓查,原标题为《2:0!Dota2世界冠军OG被OpenAI碾压,全程人类只推掉两座外塔》


2:0!


AI向Dota界卷土重来,一下子把Dota 2世界冠军打得落花流水,在刚刚结束的三局两胜比赛中轻松获胜。


两局比赛加在一起,人类只推掉了AI两座外塔。最惨烈的第二局,人类直到最后击杀人头数还是个位数。


这是OpenAI Five Finals。是AI与人类冠军的终极决战,也是它的期末大考。


对决的双方,胜者是多次击败人类玩家的AI战队代表OpenAI Five;败者是(理论上)人类最强Dota 2战队,去年的TI 8冠军OG。



不要惊讶,毕竟,现在,距“Dota世界杯”TI8上接连输给人类职业选手两局,已过去231天。如果AI在这期间连续不断地训练,已经相当于苦练了231×180=41580年的电子竞技。


和TI8上相比,AI体现出了更优秀的团战操作,乱逛、空放大招之类的bug也没再出现,进化非常明显。


同时,OpenAI还展示了比碾压、进化更重要的新能力:他们的AI不仅会和人类对抗,还能与人类合作组队一起打Dota!原来的对手,已经可以做陪练了。



另外,如果你对今天的人类代表OG不满意,OpenAI还开放了竞技场,任何人都能注册,组团挑战AI或者体验一把和AI做队友的感觉。


这就是现实版的你行你上啊!


人类一败涂地


OG究竟是怎样输给AI的呢?


看比赛之前,我们先来了解一下这次决战的规则。



比赛在7.21版本上进行,OpenAI赛前宣布,规则限制和去年8月TI8上一样,然而今天比赛开始时展示的规则还是略有不同:


英雄池包含17个英雄,不知道从之前的18个之中去掉了哪个:斧王、水晶室女、死亡先知、撼地神牛、矮人直升机、巫妖、恶魔巫师、死灵法师、痛苦女王、剃刀、隐刺、影魔、斯拉克、矮人火枪手、斯温、潮汐猎人、冥界亚龙、巫医。


没有召唤单位和幻象。


之前对圣剑、魔瓶、扫描的限制都没有提到。


好了,正片时间到:一起来看今天的决战。


双方三局两胜。


第一局



AI(天辉):火枪、飞机、冰女、死亡先知、斯温


人类(夜魇):小牛、巫医、毒龙、隐刺、影魔


选完阵容,OpenAI Five认为自己有67.6%的胜率。



刚刚开局,OpenAI Five拿下一血,而人类军团也很快杀掉了AI方的冰女。之后,双方前期在人头数上一直不相上下。AI一直在经济上保持总体领先,但最富有的英雄,却一直是人类的大哥影魔。


这也能看出双方策略上的明显区别:OG是3核心+2辅助的传统人类打法,而AI的5个英雄经济分配相对平均,比较“大锅饭”。



经过几番激烈的推进和团战,游戏进行到19分钟左右,AI对自身胜率的预测已经超过了90%。自信心爆棚的AI一鼓作气攻上了人类的高地。



OG紧接着选择了分路推进,几位解说推测,这是为了尽可能分散AI,防止它们抱团推进,然而并没有奏效太长时间。


然而,坚持到38分钟,人类方的小牛刚刚买活,AI的最后一波总攻已经推掉了人类的基地。



OpenAI Five赢下第一局。现场,也是一片掌声。



这场比赛中,AI展现了清奇的思路:出门装就选择两个大药,后续的装备也更倾向于买补给品,而不是提高自身属性。


另外,我们前边提到的“大锅饭”政策,以及在比赛前期就频繁买活,都和人类职业选手的习惯大不相同。


第二局



AI(天辉):冰女、飞机、斯温、巫医、毒龙


人类(夜魇):火枪、小牛、死亡先知、小鱼人、莱恩


选完英雄,AI对自身胜率的预测是60.8%,略低于上一局的阵容。


比赛前两分钟,双方都在一片祥和中各自带线,然而没想到,人类中单Topson很快就送出了一血。



之后,人类代表们以惊人的速度溃败。


5分钟时,AI的信心就已经大幅上升,预测自己有80%的胜率;7分钟,AI推掉了上路一塔;10分钟,AI就已经领先人类4000金币,多推了两座塔,还为自己预估了95%的胜率。



11分钟,AI已经攻上了OG的高地。


仅仅21分钟,OG的基地被推掉,OpenAI Five轻松拿下第二局。直到比赛结束,OG拿下人头还是个位数,被AI打成了46:6。



虽然这一局赢得异常轻松,不过对局过程中还是能看出AI在细节上有一些不足。比如说面对在复杂树林中绕来绕去的人类,AI就无能为力。今天的比赛中,Ceb就靠绕树林救了自己一命。



对于0:2输给AI这个结局,OG是不太服气的。战队创始人“大爹”N0tail在赛后采访中说,让他打10局,他们有把握找到战胜AI的办法;打上50局,就能一直稳赢了。


网友们也不太买账。AI赢OG,我不服!


大家认为,你们OG压根就没好好玩!


在第一局中,OpenAI前期有略微的劣势,然后开始发力,到第二局几乎就是一直碾压OG。比赛前后期落差太大,不像是职业Dota选手的水平。


很多网友看完比赛后表达了对Ti8冠军OG的参赛态度不满:简直看不下,”我行我上啊”!


他们认为OG和AI的比赛就是在瞎打,打不过AI就送人头、不打钱,卖装备,毫无职业态度。



既然OG在乱打,自然也不能证明AI有多厉害。有人甚至直接开始嘲讽OpenAI:


他们应该感谢OG,是OG想尽办法让弱智的AI看起来不那么弱智了。


或许是OpenAI早就想到了会有众多网友不服,他们接下来所公布进展中,有一项就能解决这个“不服”的问题。


新能力:和人类组团打Dota


赢下两局之后,AI并没有休息。它开始展现自己的新能力:


做人类的队友!


是的,现在,AI可以和人类配合着打Dota了。赢下OG之后,AI又开始与人类合作组队,进入了下一局比赛。



这个环节的两支队伍,都由两名人类主播和3只AI组成,英雄选择如下:


天辉:飞机、斯温、毒龙三个AI冰女、死亡先知两名人类


夜魇:火枪、剃刀、莱恩 - 三个AI小牛、痛苦女王 - 两名人类


这场比赛的一血,就是人类与AI合作的结果:天辉方人类控制的冰女和身旁的AI队友合作,杀死了对面人类控制的小牛。


而人类和AI的配合也并非一直完美。


Open的Psyho透露,OpenAI Five并没有经历过与人类合作打Dota的训练,不过,由于AI的队伍本来也是由5个神经网络组成,它们之间也没有特别的通信渠道,与人类合作对它们来说应该也不成问题。


然而实际比赛中,人类的体验可能并不好。人类不能向AI队友喊话,没有真正的沟通和配合。国外网友评价说,这种感觉就像线上遇到了大神,他却不带你飞。


你行你上!


秀完碾压和合作,OpenAI公布了一个众多网友期待已久大好消息:


你也能和AI打一局了!


“OG太菜,我行我上”也终于可以付诸实践。



OpenAI开放一个专门的竞技场,名叫OpenAI Five Arena。人类用户在这个平台上既可以组团对抗AI,也可以和AI组队比赛。


游戏将于太平洋时间4月18日下午6点(北京时间4月19日上午9点)正式上线,4月21日结束。现在,用户已经可以到这个平台注册了。地址:https://arena.openai.com/


目测等到游戏上线后,还会有排行榜实时更新出来。


两年快速进化


到今天为止,OpenAI的Dota AI诞生两年,已经几次震惊世人。


它最早诞生于2017年3月,同年8月在TI7邀请赛最后第一次一鸣惊人。当时,它1V1对战人类顶尖高手,让NAVI战队的乌克兰职业DOTA2选手Dendi几分钟就打出了GG。


很多人类表示不服,只会用影魔中单1V1当然难以服众。


然而AI进化十分迅速。


到2018年6月底,AI就掌握了5V5技能。OpenAI为它起了个新名字:OpenAI Five。


之后仅仅过了一个多月,OpenAI Five就在8月6日击败了超凡5级别(天梯MMR积分6500以上)的人类半职业战队。


再过半个月,就是它上一次亮相了。


那是在231天前的TI8上,AI所玩的Dota已经和今天一样复杂,然而它的表现并不亮眼。


当时,AI接连两天先后对战人类职业战队paiN Gaming和”中国退役大神队”,都是一败涂地,也暴露了不少缺陷:


比如说,当时的OpenAI Five队伍之中没有角色分配,无论是1号位还是辅助,打法都差不多;又比如,它总是对自己的胜率预测过高,还会胡乱插眼空放大招,而且一遇到劣势,就会表现得“手足无措”。


然而,比赛技术后仍有人类“带路党”坚信:“这可能是职业队唯一一次赢ai了。”


现在,231天过去了,我们看到AI在很多方面都有巨大进步。


最明显的当然要数它的新能力:与人类组队打比赛。


除此之外,AI这次也没有出现TI8版本的那些坏毛病,比如乱逛、空放大招等等,对胜率的估算也相对合理。


但是胡乱插眼这个毛病,在今天的比赛中依然明显。看来经过几万年修炼,AI依然对插眼毫无兴趣。


去年TI8结束后,OpenAI研究员David Farhi曾经向量子位透露过他们的推测:通过强化学习自我对局训练出来的AI,其实并不会买眼,买眼的行为是人类通过硬编码强制AI完成的。而乱插眼,很可能是因为AI想要把它随便丢在什么地方,争取一个空白的物品栏。


5个LSTM,修炼45000年


AI的快速进化,其实是刻苦训练的结果,也就是不断的自我对局。


OpenAI CTO Greg Brockman赛前说,他们的AI相当于已经练习了45000年Dota。


OpenAI之前也说过,AI每天的训练量相当于人类打180年游戏;之前输给过OpenAI的MoonMeanderated则说,AI一天要打200万场比赛。


这样的训练量,远非人类能及,当然对计算力的需求也大到吓人:它们的日常训练,需要256块P100 GPU和12.8万个CPU核心。



这支“饭量惊人”的OpenAI Five战队,包含5个智能体(agent),每一个都是包含1024个节点的单层LSTM,能够通过V社(Valve)的Bot API观察当前游戏状态,控制英雄去移动、攻击、施放技能、使用道具。


它们能够观察到的信息和人类差不多,包括自身、队友和敌人的状况,比如位置、血量、攻击力、护甲、携带物品、能力等等。


这些信息,对于智能体来说是一个包含20000数值的列表,而它判断之后发出的行动指令,是8个值的列表。




如果要以一种拟人的方式描述,AI“眼中”的游戏大概是这个样子:



选手们的训练,使用的是扩展版的近端策略优化(PPO)方法,这也是OpenAI现在默认的强化学习训练方法。这些智能体的目标是最大化未来奖励的指数衰减和。


既然是5个智能体,当然还要让它们能作为一支队伍相互配合。为此,OpenAI设计了一个“团队精神”超参数来统一控制。这个超参数的范围在0到1之间,决定了选手对与自身奖励函数和队友平均奖励函数的关注程度分配。


本期人类代表


最后,为不太熟悉OG的朋友简单介绍一下今天的人类代表。


OG,就是去年TI8上3:2击败PSG.LGD,拿下冠军的那支队伍,现在的阵容和去年夺冠时一样:



一二号位Ana(Anathan Pham)


Ana以刷钱能力著称,甚至有“世界第一打野”之称,而对线能力是他的短板。这位澳洲华裔选手,去年TI8之后休息了一段时间,今年3月刚刚正式归队。


一二号位Topson(Topias Taavitsainen)


他是2018年刚刚加入OG的新人,曾经在欧服天梯上排名第一,可谓“路人王”。他迅速从毫无大赛经验的业余玩家,成为TI8冠军。因此,他在众多职业选手中显得“思路清奇”,却也常被批评“发挥不稳定”。


三号位Ceb(Sébastien Debs)


Ceb,又叫7ckngMad,原本是OG的教练,2018年3月,当时的中单Resolut1on离队后,他先是入队做替补,又正式成为战队里的职业选手。


四号位JerAx(Jesse Vainikka)


2016年,JerAx从Liquid转入OG,在现在的OG阵容里算是一名老将。他曾被称为“欧洲土猫王”,也是一名非常擅长掌控游戏节奏、带起前期优势的辅助。


五号位N0tail(Johan Sundstein)


N0tail也被国内网友称为“大爹”,是OG创始人,去年刚刚从1号位转到5号位。


最后,量子位想说,如果你也对上面5名人类代表不满意,赶快去OpenAI Five Arena注册吧!


本文来自微信公众号:量子位(ID:QbitAI),作者:夏乙、晓查


*文章为作者独立观点,不代表虎嗅网立场


End


虎Cares X 飞跃Feiyue.


信了这个鞋,你步行的时候,也很行

#一起出门👇,当个「行人」👇#

登录查看更多
0

相关内容

OpenAI,由诸多硅谷大亨联合建立的人工智能非营利组织。2015年马斯克与其他硅谷科技大亨进行连续对话后,决定共同创建OpenAI,希望能够预防人工智能的灾难性影响,推动人工智能发挥积极作用。特斯拉电动汽车公司与美国太空技术探索公司SpaceX创始人马斯克、Y Combinator总裁阿尔特曼、天使投资人彼得·泰尔(Peter Thiel)以及其他硅谷巨头去年12月份承诺向OpenAI注资10亿美元。
【综述】自动驾驶领域中的强化学习,附18页论文下载
专知会员服务
172+阅读 · 2020年2月8日
2019必读的十大深度强化学习论文
专知会员服务
58+阅读 · 2020年1月16日
【强化学习】深度强化学习初学者指南
专知会员服务
179+阅读 · 2019年12月14日
对标Bert?刷屏的GPT 2.0意味着什么
AI100
4+阅读 · 2019年2月16日
噩耗再次传来!华为,挺住!
FinTech前哨
4+阅读 · 2018年2月4日
Arxiv
8+阅读 · 2019年3月21日
Polarity Loss for Zero-shot Object Detection
Arxiv
3+阅读 · 2018年11月22日
Arxiv
5+阅读 · 2018年10月4日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
3+阅读 · 2018年8月27日
Arxiv
27+阅读 · 2018年4月12日
VIP会员
相关论文
Arxiv
8+阅读 · 2019年3月21日
Polarity Loss for Zero-shot Object Detection
Arxiv
3+阅读 · 2018年11月22日
Arxiv
5+阅读 · 2018年10月4日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
3+阅读 · 2018年8月27日
Arxiv
27+阅读 · 2018年4月12日
Top
微信扫码咨询专知VIP会员