中科院计算所牵头发布《专⽤数据处理器DPU技术白皮书》，94页pdf

2021 年 10 月 24 日 专知

“来源:专用数据处理器（DPU）技术白皮书，中国科学院计算技术研究所，鄢贵海等”

10月16日至17日，中国计算机学会第二届集成电路设计与自动化学术会议（以下简称CCF DAC）在武汉举行，由中科院计算所主编，计算机体系结构国家重点实验室、中科驭数、中国计算机学会集成电路设计专业组联合编写的行业内首部专用数据处理器（DPU）技术白皮书在大会DPU主题分论坛发布。

DPU技术白皮书封面

　DPU技术白皮书重点分析了DPU产生背景、技术特征、软硬件参考架构、应用场景、并对目前已经公布的DPU产品做简要的比较分析，为后续DPU技术发展提供了技术路线参考。白皮书内容共分为六个章节，分别为DPU技术发展概况、特征结构、应用场景、软件栈五层模型、业界产品概要介绍、DPU发展展望。

　　大会主席、中科院计算所计算机体系结构国家重点实验室研究员李晓维宣布DPU技术白皮书正式发布，表示希望以DPU技术白皮书的发布作为起点，后续能指导DPU在现有数据系统和计算机产业中的应用，并促进行业对DPU这类新型算力芯片的技术发展及应用的探讨。

李晓维研究员发布DPU技术白皮书

专用数据处理器技术白皮书

DPU（Data Processing Unit）是新近发展起来的一种专用处理器。2020年 NVIDIA公司发布的DPU产品战略中将其定位为数据中心继CPU和GPU之后的 “第三颗主力芯片”，掀起了一波行业热潮。DPU的出现是异构计算的一个阶段性标志。与GPU的发展类似，DPU是应用驱动的体系结构设计的又一典型案例；但与GPU不同的是，DPU面向的应用更加底层，类型也更多样。DPU要解决的核心问题是基础设施的“降本增效”，即将“CPU处理效率低下、GPU处理不了”的负载卸载到专用DPU，提升整个计算系统的效率、降低整体系统的总体拥有成本（TCO）。新一代的DPU不仅可以作为运算的加速引擎，还具备控制平面的功能，能够运行Hypervisor，更高效的完成网络虚拟化、IO虚拟化、存储虚拟化等任务，彻底将CPU的算力释放给应用程序。DPU的出现也许是体系结构朝着专用化路线发展的又一个里程碑。

本白皮书将重点分析DPU产生的背景、技术特征、软硬件参考架构，应用场景、并对目前已经公布的DPU产品做简要的比较分析，为后续DPU技术发展提供必要的参考。本文的大体结构如下：第一部分介绍DPU的技术发展概况，首先对DPU做了一个基本的定义，然后阐述了DPU发展的背景，并简要介绍DPU发展的历程，DPU在现有计算生态中的角色，最后以DPU的产业化机遇作为总结。第二部分详细说明DPU的特征结构，对DPU的定位做了进一步阐述，然后提出一种通用的DPU的结构模型。第三部分介绍DPU的应用场景，本文总结了三大应用场景：网络功能卸载、存储功能卸载、安全功能卸载，这也是DPU目前最重要的三个应用方向。第四部分提出DPU开发的五层参考模型，包括设备层、操作层、计算引擎层、应用服务层和业务开发层，既体现了DPU开发过程中的软硬协同，也充分继承了通用软件栈的分层结构。第五部分概要介绍目前行业的已经发布或已经披露的DPU产品，虽然其中绝大部分尚未到批量应用的阶段，各个竞品的优缺点也尚未得到市场的充分验证，但是对于后续DPU研发具有重要的参考价值。第六部分展望未来DPU发展，并作为全文的总结。

DPU（Data Processing Unit）是以数据为中心构造的专用处理器，采用软件定义技术路线支撑基础设施层资源虚拟化，支持存储、安全、服务质量管理等基础设施层服务。2020年NVIDIA公司发布的DPU产品战略中将其定位为数据中心继CPU和GPU之后的“第三颗主力芯片”，掀起了一波行业热潮。DPU的出现是异构计算的一个阶段性标志。与GPU的发展类似，DPU是应用驱动的体系结构设计的又一典型案例；但与GPU不同的是，DPU面向的应用更加底层。DPU要解决的核心问题是基础设施的“降本增效”，即将“CPU处理效率低下、GPU处理不了”的负载卸载到专用DPU，提升整个计算系统的效率、降低整体系统的总体拥有成本（TCO）。DPU的出现也许是体系结构朝着专用化路线发展的又一个里程碑。

DPU的出现是异构计算的又一个阶段性标志。摩尔定律放缓使得通用CPU 性能增长的边际成本迅速上升，数据表明现在CPU的性能年化增长（面积归一化之后）仅有3%左右1，但计算需求却是爆发性增长，这几乎是所有专用计算芯片得以发展的重要背景因素。以AI芯片为例，最新的GPT-3等千亿级参数的超大型模型的出现，将算力需求推向了一个新的高度。DPU也不例外。随着2019 年我国以信息网络等新型基础设施为代表的“新基建”战略帷幕的拉开，5G、千兆光纤网络建设发展迅速，移动互联网、工业互联网、车联网等领域发展日新月异。云计算、数据中心、智算中心等基础设施快速扩容。网络带宽从主流 10G朝着25G、40G、100G、200G甚至400G发展。网络带宽和连接数的剧增使得数据的通路更宽、更密，直接将处于端、边、云各处的计算节点暴露在了剧增的数据量下，而CPU的性能增长率与数据量增长率出现了显著的“剪刀差”现象。所以，寻求效率更高的计算芯片就成为了业界的共识。DPU芯片就是在这样的趋势下提出的。

DPU发展历程随着云平台虚拟化技术的发展，智能网卡的发展基本可以分为三个阶段（如图1-2所示）：

DPU的产业化机遇数据中心作为IT基础设施最重要的组成部分在过去10年成为了各大高端芯片厂商关注的焦点。各大厂商都将原有的产品和技术，用全新的DPU的理念重新封装后，推向了市场。NVIDIA收购Mellanox后，凭借原有的ConnectX系列高速网卡技术，推出其 BlueField系列DPU，成为DPU赛道的标杆。作为算法加速芯片头部厂商的Xilinx 在2018年还将“数据中心优先（Datacenter First）”作为其全新发展战略。发布了Alveo系列加速卡产品，旨在大幅提升云端和本地数据中心服务器性能。2019 年4月，Xilinx宣布收购Solarflare通信公司，将领先的FPGA、MPSoC和ACAP解决方案与 Solarflare 的超低时延网络接口卡（ NIC ）技术以及应用加速软件相结合，从而实现全新的融合SmartNIC解决方案。Intel 2015年底收购了Xilinx的竞争对手——Altera，在通用处理器的基础上，进一步完善硬件加速能力。Intel 2021 年6月新发布的IPU产品（可以被视为Intel版本的DPU），将FPGA与Xeon D系列处理器集成，成为了DPU赛道有力的竞争者。IPU是具有强化的加速器和以太网连接的高级网络设备，它使用紧密耦合、专用的可编程内核加速和管理基础架构功能。IPU提供全面的基础架构分载，并可作为运行基础架构应用的主机的控制点，从而提供一层额外防护。几乎同一时间，Marvall发布了OCTEON 10 DPU产品，不仅具备强大的转发能力，还具有突出的AI处理能力。在同一时期，一些传统并不涉足芯片设计的互联网厂商，如海外的 Google、Amazon，国内的阿里巴巴等巨头纷纷启动了自研芯片的计划，而且研发重点都是面向数据处理器的高性能专用处理器芯片，希望以此改善云端的服