首届华人学者主导的国际分布式 AI 大会近日在北京召开。本届大会主要关注强化学习，特别是多智能体问题的研究以及在工业领域的应用。本次大会的最佳论文是关于多智能体合作的研究，作者来自天津大学和华盛顿州大学。大会还邀请到了包括在内的姚期智、Victor Lesser、刘铁岩、Noam Brown、田渊栋等专家进行主题演讲。
近年来，随着人工智能研究的逐步深入，针对多智能体系统的研究逐渐成为强化学习的一个重要研究方向。在这一领域，研究者重点关注的问题是：决策不再由中心，而是自治的分布式多智能体决定。
因此，分布式人工智能（Distributed Artificial Intelligence）研究应运而生。而随着我国分布式人工智能的研究群体日益壮大，在工业界的应用越来越频繁，国内学术界迫切希望举办一个新的会议，成为国内分布式人工智能的高水平交流平台。2019 年 10 月 13 日至 15 日，第一届国际分布式 AI 大会在北京召开。这是首届华人带头的国际分布式 AI 学术会议。在本届大会上，参会嘉宾和学者们重点讨论了多智能体强化学习，以及这些研究在工业界的应用。此外，大会还邀请到了 AAAI、IJCAI、ACL、NeuralPS 大会部分接收论文作者，介绍和强化学习结合的工作。
此次会议由多位华人学者以及国际知名学者共同发起，其中，南洋理工大学安波（大会共同主席）、清华大学唐平中（程序委员会共同主席）、南京大学高阳（研讨会主席）、MSRA 秦涛（工业论坛主席）、南京大学俞扬（赞助主席）、天津大学郝建业（宣传主席）都在组织者之列，会议共同主席之一 Michael Wooldridge 是牛津大学计算机系主任、IJCAI 理事会前主席。图灵奖得主姚期智院士任大会名誉主席。
本届大会共有多场演讲和报告，包括姚期智、Victor Lesser、刘铁岩的主旨演讲，以及 Noam Brown、田渊栋的专题演讲等。此外还有多篇论文的作者发表口头演讲。作为首届由华人发起和主导的分布式 AI 会议，参会人数众多，讨论非常热烈。据统计，本次共有 13 篇接收论文（长论文 11 篇、短论文 3 篇）。
![]()
大会荣誉主席、图灵奖得主、清华大学教授姚期智院士做主题演讲。
本次大会共分为三天，首日是多场 Tutorial 活动，后两日则是主题演讲和论文口头报告时间。此外，大会在周一晚上宣布了最佳论文和荣誉提名论文。本文将介绍获奖论文的核心内容。
本届 DAI 大会宣布了最佳论文奖与最佳论文荣誉提名奖项。
本届 DAI 大会最佳论文由 Weixun Wang、Jianye Hao、Yixi Wang、Matthew E. Taylor 几位作者共同摘得。其中 Weixun Wang、Jianye Hao、Yixi Wang 来自天津大学，Matthew E. Taylor 来自华盛顿州大学。
论文一作 Weixun Wang 对机器之心表示，这篇论文是一个多智能体交互的问题。考虑到真实世界更多的是一个多智能体问题，采用传统的「感知」方法是不够的，需要多智能体研究来更好地模拟真实情况。
标题：Achieving Cooperation Through Deep Multiagent Reinforcement Learning in Sequential Prisoner』s Dilemmas
作者：Weixun Wang, Jianye Hao, Yixi Wang, Matthew E. Taylor
论文地址：http://www.adai.ai/dai/paper/29.pdf
迭代囚徒困境已经指导了社会困境问题方面的研究多年。然而，这一问题只分成了两种原子行为：合作和对抗。在真实世界的囚徒困境中，这些选择可能会有所延伸，而且不同的策略可能会带来一连串连锁反应，从而影响合作的程度。在本文中，研究者提出了一种名为序列囚徒困境（SPD）的问题，以便更好地捕捉前述特征。
在研究中，研究者提出了一个深度多智能体强化学习方法，可以探索在 SPD 问题中相互合作的演变过程。研究者的方法分为两步：第一步是线下过程，通过不同的合作级别整合策略，然后训练一个合作等级检测网络。第二步是在线过程，一个智能体基于检测到的对方的合作等级，逐渐调整并选择自身的策略。研究者认为，他们提出的方法可以在两个有代表性的二维 SPD 问题中展示：「苹果-梨」问题和「水果收集」问题。实验结果说明，研究提出的方法可以让智能体避免被具有掠夺性的对手剥削，同时和有合作意向的对手达成合作。
![]()
![]()
图 4：
在不同合作级别下，智能体获得的平均以及总奖励。
合作程度从智能体 1 到智能体 2 分别为从左到右或从下到上逐渐提升。
每个 cell 对应在不同策略对下的奖励。
本届 DAI 大会最佳论文荣誉提名授予了谷歌研究院（Google Research）的 Song Zuo，他从线性规划的新颖视角解读了迈尔森的最优拍卖理论。
最优拍卖理论是由迈尔森（Myerson）于 1981 年提出的，该理论力图解决在给定信息分布的情况下，如何设计出某种制度来最大限度地激励经济活动的参与人，也就是最优合同的设计问题。
他们通过线性规划和原始对偶分析的角度重新分析了迈尔森的最优拍卖理论。他们将该理论作为优势策略和贝叶斯实现的线性规划问题进行处理，从而引导读者从一个全新的视角来理解最优拍卖设计问题。
在这篇论文中，研究者通过线性规划和原始对偶分析这两种完全不同的方法重新发现了迈尔森的最优拍卖理论。具体而言，他们考虑使用贝叶斯定理（贝叶斯激励相容+贝叶斯理性预期）和优势策略（优势策略激励相容+后理性预期），其中所有买家具有加法赋值和拟线性向量函数，并且所有估价的分布都在一个有限的支撑集中。当买家价值是单维和独立分布时，我们可以直接证明，贝叶斯实现线性规划的双目标仅仅是优势策略实现线性规划的双目标。换言之，贝叶斯和优势策略实现下的最优收益是相同的。根据观察结果，研究者通过将优势策略线性规划解释为熨平虚拟福利，并直接从中重新发现了迈尔森的最优拍卖理论。此外，研究者给出了 BIC=DSIC 的充分必要条件，即贝叶斯实现与优势策略实现的最优收益相同（BR_EV=DR_EV）。条件是当且仅当独立于虚拟价值函数的 DSIC 和后 IR 虚拟福利达到最大值时才能获得最优 DSIC 收益 DR-EV（一个买家的虚拟价值独立于其他买家的估价）。
作为首届国际分布式 AI 大会，DAI 2019 由华人和国际学者主导，彰显了华人力量在 AI 研究领域逐渐增强。近年来，随着中国的学术实力不断增强，越来越多的学术顶会移步中国。IJCAI2019 在澳门召开，EMNLP 也在今年花落香港。更多学术会议在中国举办，有助于国内外顶尖 AI 人才交流，未来会催生出跨学科多领域的融合研究成果。
10月16日晚，NVIDIA GPU 计算专家团队高级工程师季光博士将带来线上主题分享：利用 TensorRT 自由搭建高性能推理模型。点击阅读原文立即免费报名。
![]()
微信扫码咨询专知VIP会员