百度推出AI入门必修课系列，世界冠军带你7日打卡拿下强化学习

风靡一时的《Flappy Bird》也算是虐遍人类玩家。游戏规则很简单，玩家在游戏时只需保持小鸟的飞行状态，并时刻躲避障碍物防止撞到即可。这个似乎“有些傻瓜”的游戏却让全球玩家欲罢不能，甚至不少玩家为此“爆肝”还难以通关，简直憋屈到火冒三丈。然而掌握了技术流的玩家成功借助AI实现“反虐”，开辟了N种分分钟通关路径。这里用到的正是强化学习技术——机器具备自动纠偏学习进步的能力！

图 1：欲罢不能通关太难的游戏《Flappy Bird》

 

AI是靠什么“打败”人类的？

强化学习（Reinforcement Learning）！这是一种基于与环境互动的目标导向的机器学习。在强化学习中，算法要自行作出决策，它并不需要依靠历史数据，只需要理解当前场景就足够。通过与当前场景互动，算法所做出的决策的相关性会逐渐增强，就像一个人一步步经历其各个学习阶段不断成长一样，这便是它的“过人之处”——没有懒惰与懈怠，在算法下可以在环境中持之以恒的学习，完美演绎“学霸”的一生。

图2:  强化学习与人工智能、深度学习等的关系

在强化学习中，算法被称为智能体Agent，Agent从环境中获取状态（state），并决定自己要做出的动作（action），环境会根据自身的逻辑给Agent予以奖励（reward），奖励有正向和反向之分。比如在游戏中，击中一个敌人就是正向的奖励，而掉血或者游戏结束就是反向的奖励，强化学习会根据试错带来的结果，为下一步的动作做出决策。其设计灵感源于心理学中的行为主义理论：有机体如何在环境给予的奖励或惩罚刺激下，逐步形成对刺激的预期，从而产生能获得最大利益的习惯性行为——而这也是人类的自然学习路径。

图3：强化学习结构

“强化学习最有魅力的地方就在于它可以自己学习。”百度飞桨6月推出的《强化学习7日打卡营-世界冠军带你从零实践》入门强化学习的公开课中，主讲师科科介绍说：“由于强化学习可直接与环境交互、从中学习，而非使用人类给的样本数据，因此它没有AI其他学习方式的天花板。或许由此让它找到比人类更好的方案，在游戏中打败了人类。”

    不过，此时此刻强化学习虽让机器拥有了“智能”并在某些领域中打败了人类，但仍旧离“超越人类”非常遥远；而我们不能忽视的是，它能为人类创造的价值与服务切实地近在眼前。

图4：百度飞桨推出入门强化学习公开课《强化学习7日打卡营-世界冠军带你从零实践》

 

强化学习当下正在为人类解决着什么问题？

强化学习正在快速发展。那么强化学习到底能为我们做点什么呢？科科老师作为百度飞桨强化学习PARL团队核心成员，所在团队曾两度夺得NeurIPS强化学习赛事世界冠军以及百度最高奖，她在课程中介绍了一系列强化学习“大有可为”的应用领域，同时也指出了此项技术应用的门槛，但是如果企业能够掌握强化学习这项特技，势必带来“护城河”般的核心竞争力。

例如，网站或APP的个性化定制中，去中心化的“预测”便可用强化学习实现。在这之中，智能体（Agent）是APP本身，环境(Environment)是用户可看见的信息列表与有着复杂主观喜好的用户。APP从信息列表中获得按照一定顺序排列或推荐的状态（state）并随着用户点击的正向反馈（+reward）与跳过、离开的负向反馈（-reward）中学习，给出更符合用户喜好的“智能排序”（action）。

图5：强化学习应用于网站或APP的个性化推荐

又如交通治理中对于堵车情况的计算预判，与调度疏通；以及在电商营销中对价格与供求变化的敏感捕捉与快速分析并给出决策；甚至是股票市场、无人驾驶等等领域中，强化学习对复杂与未来不确定性所呈现出的探索与学习能力，或许会比人类更强。

图6：强化学习的应用

极具吸引力的应用前景也引发了强化学习的学习热度。然而相关课程资源却很短缺，入门课程偏重理论，技术门槛太高。所以，兼具理论和应用实践讲解的《强化学习7日打卡营-世界冠军带你从零实践》一经推出就吸引了大批AI学习者。上线几天内就在B站全站学习类直播人气飙升至Top5；课程用到的强化学习框架PARL的GitHub账户Star快速增长一倍以上，成为耀眼的千星项目。PARL随即登上GitHub全球增长趋势榜。课程吸引了来自美国、新加坡、德国、日本等8个海外国家华人开发者，以及宾夕法尼亚大学、佛罗里达大学、加州大学伯克利分校、南安普顿大学、早稻田等全球顶级名校的学生，还包括不少跨学科的初学者。

 

强化学习的入门与学习路径是什么？

“面向有基础的同学，可以抛开技术背景直接讲结论，但是如果针对零基础同学打磨这门课，很多时候需要有很强的代入感，从他们的角度去考虑内容是否好接受，是否过于理论或过于脱离理论。”科科老师在课程设计时带入了自己初学强化学习的心理过程与探索方式，让很多初次接触强化学习的同学也能快速入门。

58岁已退休的人才管理专家及企业教练郭崇华先生因为一直关注强化学习而开启了此次课程的学习。他在结课后分享自己的学习经历，也给出了一条具有参考性的进阶路径。从0到快速跟上强化学习的课程，郭崇华将过往学习经历整体分为三段。第一个阶段针对“不确定性科学”学习方法论，可从概率学开始；第二阶段加强统计学与分析学的理解应用；而第三阶段则是接触机器学习的基础知识，对飞桨深度学习框架有了一定了解后此次跟随《强化学习7日打卡营》便快速入门了强化学习。在完全出于兴趣，惯于保持学习的郭崇华看来，这门课程的学习如行云流水般享受其中。“事实上，不仅是强化学习，国内很多AI教育从理论到coding其实是有断层的。但这门课的科科老师很好地达到了理论和实践中间的桥梁作用。”郭崇华如是分享到。

未来的可能性正越来越多的被掌握技术的人所优先把握。而与此同时，媒体不止一次地指出，当前中国紧缺500万AI人才。为了应对这一点，百度这样的AI头雁企业提供了越来越丰富而实用的AI学习内容和路径，尤显意义重大。学习说到底还是个人的事儿，只要想要学习，那便是乾坤尚未定，你我皆黑马！

---

 

附：百度搜索AI Studio进入官网访问《强化学习7日打卡营-世界冠军带你从零实践》公开课及更多AI课程。 

课程链接：

https://aistudio.baidu.com/aistudio/course/introduce/1335

或者点击“阅读原文”即可访问