大规模强化学习的未来之路 | YEF2022专题论坛特稿

2022 年 6 月 10 日 中国计算机学会

随着算力的飞速提升，深度学习(Deep Learning，DL)发展势头迅猛，掀起了新一轮人工智能发展热潮。在深度学习的带动下，强化学习(Reinforcement Learning，RL)重新步入了人们的视野。2013年DeepMind使用神经网络在Atari的多个游戏中超越了人类玩家水平而名声大噪，从此深度强化学习(Deep Reinforcement Learning，DRL)成为了强化学习发展的新方向。近年来，深度强化学习取得了巨大成就，受到了学术界和产业界的广泛关注，在游戏、推荐系统、无人驾驶等领域取得了令人瞩目的进展和成果，将强化学习的研究推向前所未有的新高度。

如何赋予机器自主学习的能力，一直是人工智能领域的研究热点。强化学习是机器学习领域之一，受到行为心理学的启发，主要关注智能体如何在环境中采取行动，以最大限度地提高累积奖励。深度强化学习使用神经网络逼近值函数，一定程度上避免了表格存储序列空间大、查询慢等问题，成为了强化学习解决问题的标配。

2016年，由Google DeepMind开发的AlphaGo在围棋对弈中打败了韩国的围棋大师李世石，媒体开始铺天盖地地宣传人工智能时代的来临。此后的6年里，相继涌现出OpenAI Five、AlphaStar等里程碑式的突破，而Agent57、Muzero等性能表现更加出色的。这些前沿技术离不开国际领军企业和顶尖研究机构的巨大投入和卓越贡献，诸如DeepMind、OpenAI、伯克利、CMU等都是深度强化学习的领跑者。近年来，我国高校和企业也在深度强化学习领域取得了许多重要研究进展。

得益于深度学习强大的表征能力与强化学习卓越的决策学习能力，深度强化学习已广泛应用于游戏、机器人、无人驾驶、网络空间安全、股票预测、广告推荐系统、医疗健康、军工科技等领域，成为了人工智能研究中炙手可热的前沿领域。

而在“大数据、大算力、大模型”的背景下，深度强化学习研究的核心科学问题是什么、如何工程落地，将是一个非常值得深入探讨的话题。

虽然深度强化学习在各行各业的应用中硕果累累，但在面对诸如大数据量、海量智能体、大模型等大规模强化学习任务时，仍然显得力不从心。为此，专家学者就采样效率、可泛化性、交互风险、大规模博弈等问题展开了研究，并取得了许多积极的成果。然而，大规模强化学习的研究仍面临着可解释性、稳定性和安全性等突出问题，尚未形成完整的科学技术体系，亟需探索新的理论和技术路径。

在此背景下，由CCF YOCSEF太原学术委员会发起的CCF YEF 2022专题论坛“大规模强化学习的未来之路”将于2022年6月11日下午13:30-17:30在线上举行，论坛邀请了强化学习领域的知名专家学者，针对“大数据、大算力、大模型背景下强化学习研究的核心科学问题是什么、如何工程落地”等问题进行探讨，并畅想其未来发展之路。

本次论坛由CCF主办，CCF YOCSEF太原学术委员会承办。

论坛的议程安排如下：

“大规模强化学习的未来之路”专题论坛
13:00-13:30	进场
13:30-13:35	论坛背景及嘉宾介绍
特邀报告主持人：魏巍 (山西大学教授)
13:35-14:10	特邀报告1：南京大学俞扬教授报告题目：数据驱动的强化学习及其工业应用
14:10-14:45	特邀报告2：南洋理工大学安波讲席副教授报告题目：强化学习求解大规模复杂博弈
14:45-15:20	特邀报告3：天津大学郝建业副教授报告题目：自监督强化学习-通往强化学习决策大模型之路
15:20-15:55	特邀报告4：上海交通大学张伟楠副教授报告题目：大规模离线强化学习
15:55-16:30	特邀报告5：北京大学卢宗青助理教授报告题目：Advances in Multi-Agent Reinforcement Learning
16:30-16:45	特邀报告6：OPPO 陈令奎高级专家报告题目：强化学习在OPPO多场景落地的挑战
16:45-16:50	休息 + 合影
PANEL 主持人：钱宇华 (山西大学教授)
16:50-17:35	嘉宾：俞扬，安波，郝建业，张伟楠，卢宗青
17:35-17:40	论坛总结

论坛举办及直播时间：6月11日13:30~17:40

在线直播间：（请提前关注和收藏）

YEF 2022各地线下会场将严格遵守当地防疫政策，并将采取严格的防疫管理措施，确保参会安全，敬请现场参会者理解配合。

关于YEF 2022 大会围绕“计算+行业”的蓝图，以“ 大计算、大融合 ”为主题，邀请国内外来自高校、科研单位、大型IT企业的著名专家作高水平的学术、技术报告，同时还组织畅想未来的“思想秀”，展现计算机界青年创业者风采的“科技创业秀”，为大学生提供展示舞台的“大学生学术秀”。除此之外，本次YEF更推出“我国软件供应链安全问题及解决之道”、“探寻当代科技Heroine（女性英雄）的成长模型”、“安全可靠人工智能算法”、“大规模强化学习的未来之路”、“人工智能如何助力科学发现与计算？”等22个值得期待的观点论坛和技术论坛。另有“青科看未来——人工智能的发展困境和突破机遇”大会论坛和““计算+”的成功经验与所面临的挑战”大会论坛。