这么多人用AI预测FIFA 2018，为什么总是会失败？

2018 年 7 月 17 日 人工智能头条

作者 | Kaveh Bakhtiyari

译者 | Linstancy

编辑 | Jane

出品 | 人工智能头条（公众号ID：AI_Thinker）

【导读】7月16日凌晨，2018 年俄罗斯世界杯在法国与克罗地亚间一场精彩的对决后落下帷幕。法国队时隔20年再次托起大力神杯，克罗地亚队获得亚军，创造了一个又一个奇迹，虽败犹荣。在过去的一个月里，无论是球迷经验与期望的预测，还是各路研究人员通过各种机器学习方法的预测，都没有人预测出这样的结果，FIFA 的结果无疑使这些预测有些尴尬。更是谁都没有预测到历经附加赛，三场加时赛，平均年龄近三十的格子军团凭借着钢铁般的意志，顽强拼搏的精神进入了决赛，而这些奇迹和促使奇迹发生背后的因素在我们的算法和模型中又该如何利用？这篇文章虽然不是在彻底解决这一些问题，但是对预测失败的案例分析让我们知道，不仅在 AI 技术应用过程中会受到很多限制，我们还有很长的路要走。

▌前言

2018 年FIFA 俄罗斯世界杯于7 月16日正式结束，法国队获得冠军，克罗地亚和比利时队分获二三名。和2014 年世界杯一样，许多研究人员试图提前预测结果一样，今年也不例外，研究人员和科学家们试图利用人工智能(AI) 和统计知识来预测本届FIFA 世界杯64 场比赛的结果。

近来人工智能(AI) 的声势颇盛，被称为是未来的技术。如今，人工智能也正在成为每个大中型企业不可或缺的一部分，但它的可信度有多高？在这篇文章里为大家展示一个简单的示例 —— 分析AI 在预测2018 年世界杯结果中的表现。（注：这篇文章中是在最近的几项研究中选取的，分析的方法和评价标准也是基于原研究进行的。）

预测FIFA 世界杯的结果有许多不同的方法。一种方法是针对团队能力和获胜概率，通过成对比较来模拟每一场比赛结果。Zeileis，Leitner 和 Hornik 使用相同的技术预测巴西将以 16.6％的概率赢得本届FIFA 世界杯的冠军，其次是德国（15.8％）和西班牙（12.5％）。

瑞士银行瑞银（UBS）也预测了本届赛事的前 3 名的球队，他们的结果是：德国将以 24.0％的概率获得冠军，其次是巴西（19.80％）、西班牙（16.1％）。

他们的预测模型考虑了四个因素，分别是：

Elo评级；
球队在世界杯预选赛中的表现；
球队在往届世界杯比赛中所取得的成绩；
主场优势。

该模型通过10,000次蒙特卡罗模拟进行校准，以得到最终获胜的概率和最近五次赛事的结果。

此外，2018年6月8日，来自德国的多特蒙德技术大学，慕尼黑技术大学和比利时根特大学的四位研究人员（A. Groll 等人）在arXiv 上发表了一篇关于2018 年世界杯冠军预测结果的研究论文。论文中采用著名的人工智能算法—— 随机森林算法和泊松排序算法，并在6月14日世界杯开幕前公开发表。他们使用的数据集是一个涵盖了过去四届FIFA 世界杯（2002-2014）的所有比赛。他们预测西班牙将成为冠军，其次是德国队和巴西队。

以上这三项研究预测的前三名结果都涉及西班牙，德国和巴西三支队伍，不同就在于对他们名次先后的顺序。他们分别采用了三种不同的预测方法，数据和数据特征，但最终产生的结果几乎相似。现在，世界杯结束了，我们可以来分析下这些预测失败的模型。

在这些研究中，将会分析的是 A. Groll 等人的研究方案。首先，他们使用了一个很好的数据源。其次，他们考虑了许多训练过程中的特征和参数。随后，他们采用随机森林算法。接下来，我将逐个分析这项研究中所涉及的数据特征，误差以及最终预测失败的原因。

▌数据特征

Groll 等人考虑了与团队自身相关的各种特征，比如：

经济因素（国家人均GDP，人口数量等）；
运动因素（如ODDSET 概率，FIFA 排名等）；
主场优势（如主办方，大陆，联邦等）；
团队的组成结构（如队伍中同一俱乐部队友的人数，队员的平均年龄，参加冠军联赛的球员数量等）；
团队的教练因素（如教练的年龄，任期，国籍等）。

总的来说，他们总结了这16个数据特征来分析每支世界杯参赛队。

▌分类模型

正如之前提到的，他们使用一种众所周知的算法--随机森林算法，该算法的工作原理是基于决策树，在许多数据分类任务中表现出很高的性能。此外，他们还引入泊松模型，根据当前的实力对各支球队进行排名。

随机森林算法预测的2018年FIFA 世界杯比赛结果

▌预测

经过了 10 万次赛事模拟后，他们的算法预测出西班牙队有 28.9% 的机会晋级决赛，其次是德国（26.3％）和巴西队（21.9％）。

▌错误

但是根据今年的世界杯结果来看，预测的前两支球队都未能进入四分之一决赛，更不用说决赛（巴西队进入四分之一决赛）。根据世界杯的实际结果和预测，模型的均方根误差（RMSE）和平均绝对误差（MAE）计算结果如下：

这两个指标显示了模型的错误，以及它可以在多大程度上准确地预测出最终的团队排名。尽管使用了 16 个特征以及大数据集（包含过去四届世界杯的比赛数据），但最终得到的 RMSE 和 MAE 值都很高，这使得模型缺乏可信度，而基于机器学习的 AI 方法（特别是随机森林算法）也无法可靠地预测出结果。在本届世界杯，俄罗斯，日本和伊朗的表现明显好于预期，另一方面，德国也没有晋级。

2018年 FIFA 世界杯中每支球队的预测排名、实际排名及预测差异结果（误差）。

▌AI 为什么失败？

在人工智能和机器学习领域，为模型训练和模型设计并提供适当的数据是非常重要。但在这种情况下，尽管拥有适当的数据（16个已清洗的特征），相对较大的数据量（过往四届世界杯的比赛数据）以及具有正确参数的优秀算法，但即使这样训练有素的模型最终仍会失败。我认为这种失败的原因在于我们所预测的本质。

FIFA 世界杯和很多其他以人为本的事件一样，比赛在赛前和比赛期间（最少90分钟）有太多的因素（远不止是本研究考虑的16个），这些因素被称为混淆变量。为了能够正准确地预测结果，每场比赛的每一分钟都要模拟出来。每分钟甚至每秒钟状态的结果都取决先前的状态，这种现象也称为马尔可夫链过程。错误的模拟状态很容易导致比赛产生不可靠的结果。

除了内部因素外，足球比赛的结果也可能受到一些外部因素的影响，例如不公平的裁判，天气，政治情况，甚至球员的个人问题等。而这些重要特征通常很难被衡量和收集。此外，总有一些探索和不确定性的机会，例如球员的一个致命失误或进球得分，这是不容易预测的。

简而言之，像 FIFA 世界杯或者一些以人的活动为基础的领域，具有随机和动态环境是如今人工智能技术还无法很好驾驭的领域。这个例子就很好地说明了我们必须非常注意 AI 在类似动态环境领域的适用性。此外，通过具有非常复杂的数据结构，针对任何的潜在偏差可能非常难以修正我们已经训练好的模型。存在的偏差会导致模型只适用于特定的群体决策。而实施这样的系统也将会对个人和公司产生巨大的问题，因此建议将人工智能应用于这种随机和动态环境时作为补充的决策平台。

2018年 FIFA 俄罗斯世界杯官方 logo

更多研究内容可参考：

https://www.ubs.com/content/dam/assets/wm/global/cio/doc/investing-in-emerging-markets-en.pdf

https://ideas.repec.org/p/inn/wpaper/2018-09.html

https://arxiv.org/abs/1806.03208

原文链接：

https://medium.com/@bakhtiyari/artificial-intelligence-failed-in-world-cup-2018-6af10602206a