业界 | Facebook的「下一代 AI 计算平台」长什么样子？

AI 科技评论按：作为社交网络巨头，Facebook 的一系列应用和服务每月服务的用户多达 27 亿。随着近几年的 AI 热潮席卷而来，Facebook 也开始把数据中心中的许多通用计算硬件逐渐切换为了性能、功耗、效率更好的专用硬件。

昨天（美国时间 3 月 14 日），Facebook 公开介绍了自己的「下一代」AI 模型训练硬件平台 Zion，一并也介绍了针对另外两类计算的定制化 ASIC（应用专用集成电路）芯片：用于 AI 推理的 Kings Canyon，以及用于视频转码的 Mount Shasta 。这些新设计主要针对 AI 推理、AI 训练、视频转码三类计算。这些计算不仅负荷重、切换为专用硬件的提升明显，而且也是 Facebook 中快速扩大的服务类型。

从当代 AI 硬件到下一代 AI 硬件

Facebook 早就开始大规模部署 AI 模型用于业务中的计算，这些模型每天要进行超过一百万亿次预测以及超过六十亿次语言翻译。Facebook 用来识别、分类内容的图像识别模型也使用了超过 35 亿张图像训练。各种使用了 AI 的服务帮助用户更好地进行日常沟通，也为他们提供了独特、个性化的使用感受。

Facebook 自研的 AI 平台 FBLearner 管理了 Facebook 目前的大多数 AI 模型流水线。FBLearner 中包含了特征存储、训练过程管理、推理引擎管理等对应问题不同部分的工具。另外，Facebook 也基于「开放计算计划」（OCP）设计了自己的硬件，这些硬件和 FBLearner 配合使用，能够让 Facebook 的开发人员们快速大批量地部署模型。

在解决了当前紧迫的计算规模问题之后，Facebook 继续集中精力研发，最终目标是创建一种面向未来的、牢靠的硬件设计，它不仅要对供应商是透明的，同时也要能持续体现 Facebook 的最大化运行效率的离散化设计理念。Facebook 的答卷就是他们的下一代训练、推理硬件平台。

用 Zion 进行 AI 训练

Zion 是 Facebook 的下一代大容量统一训练平台，目标是高效地承担未来的更大计算负载。Zion 在设计时就考虑了如何高效地处理 CNN、LSTM、稀疏神经网络等多种不同的神经网络模型。Zion 平台可以提供高内存容量、高带宽、灵活的高速内部连接，为 Facebook 内部的关键工作负载提供强大的计算能力。

Zion 的设计采用了 Facebook 新的供应商透明的 OCP 加速模型（OAM）。OAM 的作用在于，Facebook 从 AMD、Habana、Graphcore、英特尔、英伟达等许多不同的硬件供应商处购买硬件，只要他们在开放计算计划（OCP）的公开标准基础上开发硬件，不仅可以帮助他们更快地创新，也可以让 Facebook 自由地在同一个机架上的不同的硬件平台、不同的服务器之间拓展，只需要通过一个机柜网络交换机。即便 Facebook 的 AI 训练负载不断增加、不断变得更加复杂，Zion 平台也可以拓展并处理。

具体来说，Facebook 的 Zion 系统可以分为三个部分：八路 CPU 服务器、OCP 加速模块、以及可以安装八个 OCP 加速模块的平台主板。 

左，模块化服务器主板，每个主板可以安装 2 个 CPU；右：四张主板、八个 CPU 组成一台八路服务器

左，一个 OCP 加速模块；中，八个 OCP 加速模块安装在一个平台主板上；右，组成一个含有八块加速芯片的平台

Zion 平台内部模块连接示意图

Zion 平台的设计得以把系统中的内存、计算、网络部件进行解耦，然后每一项都可以独立地进行拓展。系统中的八路 CPU 平台可以提供超大的 DDR 内存池，服务于对内存容量有很高要求的工作负载，比如稀疏神经网络的嵌入表。对于 CNN 或者稀疏神经网络中较为稠密那些，它们对带宽和计算能力更为敏感，那么它们的加速主要就是依靠连接到每个 CPU 上的 OCP 加速器模块。

系统中包括两种高速连接线：一种把所有 CPU 互相连接，另一种把所有的加速器互相连接。由于加速器具有很高的内存带宽和低内存容量，Facebook 工程人员想了一种办法来高效地利用总的内存容量：把模型和内存做一定的划分，比较经常访问的数据就存储在加速器的内存上，不怎么经常访问的数据则存储在 CPU 的 DDR 内存中。所有 CPU 和加速器之间的计算和通讯会进行平衡，通过高速和低速互联线路高效地执行。

用 Kings Canyon 进行 AI 推理

与逐渐增加的 AI 训练负载相对应地，AI 推理负载也在快速增加。在下一代设计中，Facebook 和 Esperanto, Habana, 英特尔, Marvell, 高通等企业合作，共同开发易于拓展和部署的专用 ASIC 芯片。Kings Canyon 芯片可以同时支持偏重推理速度的 INT8 （8 位整型）计算，以及偏重更高精度的 FP16 （半精度浮点）计算。

Kings Canyon 芯片搭载在 M.2 规格的电路板上；每个 Glacier Point v2 母板上安装六块 Kings Canyon 芯片；最后，两个 Glacier Point v2 母板和两个单路服务器一同组成一台完整的 Yosemite 服务器。

Facebook 的视频转码 ASIC 芯片 Mount Shasta 也采用了这样的布置方式。

总结

根据 Facebook 给出的图解和介绍，目前似乎只有 AI 训练平台 Zion 已经开始投入使用，AI 推理芯片 Kings Canyon、视频转码芯片 Mount Shasta 以及相关硬件还没有看到实物。但 Facebook 上下都对这套设计充满了信心。未来他们将通过 OCP 公开所有的设计和相关规格，便于更广泛的合作；Facebook 也会和目前的合作伙伴一起共同改善整套系统的软硬件共同设计。

更多详细说明可以参见 Facebook 官方介绍：https://code.fb.com/data-center-engineering/accelerating-infrastructure/，AI 科技评论报道

点击阅读原文，加入 Caffe/Caffe2开发技术交流小组进行更多讨论