开源系列讲座 | MARO：多智能体资源调度平台及其基于强化学习的大规模应用

2021 年 10 月 26 日 微软研究院AI头条

编者按：开源成果分享持续进行中！在“微软亚洲研究院开源项目系列讲座”第一季前五期，研究员分别分享了业内首个 AI 量化投资开源平台微矿 Qlib 、自动机器学习工具 NNI、个性化新闻推荐系统 MIND、OpenNetLab 开放网络平台联盟以及 AI-EDU community 人工智能教育与学习第一站。

第六期讲座中，研究员将介绍包含高效的多智能体强化学习（MARL）训练框架的多智能体资源调度平台 MARO。快来加入直播间，了解微软亚洲研究院的最新开源项目，与我们一起推动人工智能技术的创新发展。

第一期讲座回放视频地址：

https://www.bilibili.com/video/BV1yv411J7Cj

第二期讲座回放视频地址：

https://www.bilibili.com/video/BV19w41197Qz

第三期讲座回放视频地址：

https://www.bilibili.com/video/BV1dV411H7qF

第四期讲座回放视频地址：

https://www.bilibili.com/video/BV1YM4y1V7ta

第五期讲座回放视频地址：

https://www.bilibili.com/video/BV1dT4y1R7Qm

近年来，多智能体强化学习（MARL）虽然在学界取得了较大进展，但如何将其应用于实际领域仍然面临诸多困难。“资源调度”即是 MARL 实际应用的一大场景。这也是过去三年中，微软亚洲研究院的研究员们在与研究院“创新汇”成员企业探讨 AI 落地时发现的在各领域内存在的共通问题。

基于三年来与成员企业的合作研究，微软亚洲研究院在2020年发布了多智能体资源优化平台“群策 MARO”，并将其开源。

MARO 适用于由资源供需不平衡导致的资源利用率低的问题。即将到来的双11就是一个典型的仓储物流行业资源匹配的场景，近两年爆仓问的缓解主要原因就在于仓储物流调度水平的大幅提升。MARO 的使命正是在不同参与者间以合理的成本提高资源利用率、为行业创造更大的利润空间、为社会节省不必要的资源浪费。

MARO 是一个面向多行业横截面上的全链条资源优化 AI 解决方案。考虑到不同行业用户对 AI 技术的掌握程度有所不同，MARO 平台提供了三种面向不同用户的构建方式，以帮助相关人员由浅入深地应用 AI 技术，创建自己的资源调度优化模型。这在一定程度上降低了科研成果在真实场景中应用的门槛，让 AI 可以助力解决业界更多的实际问题。

MARO 平台的三层架构

MARO的亮点在于高效的仿真引擎、分布式的从sampling 到 training 的 MARL 框架以及来自真实场景的案例。

扫码直达 MARO 官方 GitHub

“微软亚洲研究院开源项目系列讲座”第一季第六期将介绍强化学习、MARO 的应用场景、MARO 的高性能仿真引擎、MARO 中的 MARL 训练框架以及仿真引擎和强化学习工具箱的使用示例。欢迎大家试用 MARO 并在 GitHub 上同开发团队进行沟通和互动！记得准时来直播间参与分享哦。

第六期

直播时间：2021年10月26日 15:00-16:00

直播地址：B 站账号“微软中国视频中心”直播间

扫码直达直播间

扫码加入微信交流群

报告主题：

群策：多智能体资源调度平台及其基于强化学习的大规模应用

MARO: Multi-Agent Resource Optimization Platform and Its Applications on Large Scale Problems

报告内容：

多智能体强化学习（MARL）一直是学术界比较热门的课题，近年来涌现出很多有效的算法和成功的案例。但是如何利用其解决商业领域的实际问题仍然是一个大的挑战，其中比较关键的是解决 MARL 在大规模问题上的训练效率问题。MARO 正是在这一背景下提出的一个包含高效的 MARL 训练框架的多智能体资源调度平台。通过高效的仿真引擎和分布式框架，使得训练一个包含成千上万个智能体的系统成为可能。MARO 支持不同程度的个性化，从仿真环境，底层模型到训练算法等，用户可以根据需要灵活地配置。同时，MARO 还将一些实际的问题封装成不同规模的实例，如集装箱调度、共享单车调度、虚拟机资源分配、库存管理等，支持用户对新的 MARL 进行快速的测试。

直播嘉宾

王金予

微软亚洲研究院创新孵化组研发工程师

微软亚洲研究院创新孵化组研发工程师，就职期间，从事强化学习、时间序列预测等领域的研究及其在实际工业界中的应用。

开源项目系列讲座

微软亚洲研究院面向科研人员、开源社区开发者和参与者精心设计推出“微软亚洲研究院开源项目系列讲座”，涉及来自不同科研团队的七个开源项目：和行业密切相关的 Qlib 和 MIND，优秀的科研工具 OpenNetLab、MARO、nn-Meter，以开源方式进行人工智能教育教学的 AI-EDU community，赋能机器学习的 NNI，涵盖机器学习、自然语言、网络与系统等多个人工智能领域。