性能提升10倍以上：阿里达摩院成功研发新型存算一体芯片

2021 年 12 月 4 日 机器之心

机器之心报道

编辑：泽南

人脑的特性就是存算一体，神经元在处理任务时具有极高的并行度，并且功耗极低。

本周五，阿里巴巴达摩院宣布成功研发新型存算一体架构芯片。

据达摩院介绍，该芯片是全球首款基于 DRAM 的 3D 键合堆叠存算一体 AI 芯片，可突破冯 · 诺依曼架构的性能瓶颈，满足人工智能等场景对高带宽、高容量内存和极致算力的需求。在特定 AI 场景中，该芯片性能提升 10 倍以上，能效比提升高达 300 倍。

从诞生之日起，计算机系统就是在冯 · 诺依曼架构下运行。在经典架构中，计算与内存是分离的，计算单元从内存中读取数据，计算完成后再存回内存。然而，随着人工智能等对性能要求极高的场景爆发，这一技术架构的短板逐渐显露，如功耗墙、性能墙、内存墙的问题。

AI 模型的算力需求每两年提升 750 倍，而在同样的时间内芯片的峰值算力只有 3 倍左右的提升，中间存在高达 20 倍的差距。目前我们采用的算法还只能是增大并行规模和运行时长。

相比之下，内存的性能提升速度要比芯片算力更慢，而且我们还不能简单通过增加内存系统节点的方法来解决需求，如果我们使用过多内存的话，通信成本将会出现指数级增加。

应用正在对内存系统提出严苛的要求。数据显示，在传统架构下，数据从内存单元传输到计算单元需要的功耗是计算本身的 200 倍左右，真正用于计算的能耗和时间其实占比很低。

存算一体芯片是解决这一问题的有效途径，它类似于人脑，将数据存储单元和计算单元融合为一体，大幅减少数据搬运，从而极大提高计算并行度和能效。

这一技术早在 90 年代就被提出，但受限于技术的复杂度、高昂的设计成本，以及缺少应用场景，过去几十年业界对存算一体芯片的研究进展不断，但没有出现大规模商用化的技术。随着 AI 场景的爆发，业界迫切需要该技术来解决算力瓶颈，达摩院希望通过自研创新技术解决业界难题。

实现存算一体有三种技术路线：

近存储计算（Processing Near Memory）：计算操作由位于存储芯片外部的独立计算芯片完成。
内存储计算（Processing In Memory）：计算操作由位于存储芯片内部的独立计算单元完成，存储单元和计算单元相互独立存在。
内存执行计算（Processing With Memory）：存储芯片内部的存储单元完成计算操作，存储单元和计算单元完全融合，没有一个独立的计算单元。

其中，近存计算通过将计算资源和存储资源距离拉近，实现对能效和性能的大幅度提升，被认为是现阶段能解决内存墙问题的最佳途径。达摩院本次也是沿着这一方向进行突破。

达摩院计算技术实验室自 2019 年成立以来，一直在尝试使用各种方法解决内存墙瓶颈问题。

此次，达摩院研发的芯片首次采用混合键合（Hybrid Bonding）的 3D 堆叠技术——将计算芯片和存储芯片 face-to-face 地用特定金属材质和工艺进行互联。最终的测试芯片显示，这种存算技术和架构的优势明显，能通过拉近存储单元与计算单元的距离增加带宽，降低数据搬运的代价，缓解由于数据搬运产生的瓶颈，而且与数据中心的推荐系统对于带宽 / 内存的需求完美匹配。