全球芯片短缺，显卡价格居高不下，跑深度学习该如何装机？

机器之心报道

机器之心编辑部

不论需求如何，总有适合你的硬件。

对于搞 AI 的人来说，有一个永不过时的话题：跑人工智能需要一套什么样的计算机硬件？

近年来，前沿 AI 技术的进展很快，被广泛用于目标检测、分类与分割等 CV 任务的深度卷积网络为了提高准确度需要数百万的参数；而具有大量参数、更多数据和更多训练时间的语言模型可以获得更丰富、更细致的语言理解。这些技术突破使得模型的功耗、计算和内存消耗都越来越大。

这种情况正变得愈演愈烈。

对于芯片的运算能力，一般我们会使用 FLOPS，即每秒浮点操作次数（FLoating Point Operations per Second）这个指标做标准。NVIDIA GeForce RTX 3080 是 29.8 TeraFLOPS，而一块苹果 M1 Max 芯片的算力是 10.4 TeraFLOPS（FP32）。

这些数字看起来很可观，面对 AI 模型的需求却显得稍许有限：

训练部分 SOTA 模型所需的计算量，以 Peta FLOP 为单位

我们可以看到，在计算机视觉、自然语言处理和语音任务上训练 SOTA AI 模型所需的计算量最近以每两年 15 倍的速度增加。最近使用 Transformer 架构的预训练模型增长速度则更快，它们会以每两年 750 倍的速度增长。

这些只是单纯的算力需求，还不论训练 SOTA 模型的新挑战——对于 NLP 和推荐系统模型来说，内存和芯片内 / 芯片间的通信正在成为又一个瓶颈。

随着边缘计算的发展，广泛的应用场景正带来更加多元化的算力需求，大体上来看，当前的计算机需要拥有强大的算力，可以满足多种场景的灵活性，在多种环境下保证稳定，同时也要拥有高性价比。是否存在能够应对这些挑战，效率足够高的计算机呢？

惠普Z系列数据科学解决方案

2020 年，惠普以突破性的技术推出了「Z 系列」数据科学工作站，将边缘计算提升到了一个新台阶。

通过观察前沿科技和趋势，洞察用户需求，惠普打造了包含数据采集工作站、微型工作站、Z8 Multi-GPU 工作站、VR 可穿戴设备、以及 Data Science Stack 在内的「Z 系列」革命性产品。以多形态的产品满足不同场景的运算需求，以一体化的解决方案助力行业实现突破创新。

在该系列中更基础的 Z2 TWR G5 台式工作站采用单路酷睿 10 代处理器，支持 1 块 NVIDIA RTX A5000 或 A4000 GPU，3 块企业级 SATA 硬盘。适用于单 / 多用户深度学习训练，1 路 GPU 推理，无需机柜部署。

此外，惠普还提供一款迷你机箱的 Z2 MINI G5，采用单路酷睿 10 代处理器，1 块 NVIDIA Quadro RTX 3000 移动版、NVIDIA Quadro T2000 或 NVIDIA Quadro T1000 GPU，尺寸仅有 21.6cm × 21.6cm，静音设计，适用于 Intel X86 架构的边缘计算。

惠普的 Z 系列工作站跑机器学习效率如何？在今年 7 月东北大学软件学院的一次测试中，Z8 G4 台式工作站展现出了实力。首先是这台机器的配置：

我们用它与一台 2 × Intel Xeon Platinum 8260 / 64G 内存 / NVIDIA Tesla P100 / 1T SSD 配置的工作站进行对比。

首先使用目标检测领域最著名深度学习模型 YOLO 分别对吸烟行为和打电话行为进行训练。通过测试，我们看到使用 HP Z8 G4 能够明显提高训练速度，节省大量时间。

在行为识别任务上，基于 MiCT 对视频中的行为进行识别实验中，原本耗时为 15h 的训练，使用 HP Z8 G4 仅需要 5h49min，节省了将近三分之二的时间。

基于 Faster R-CNN 和 FPN 模型针对 PCB 工业缺陷识别进行训练，原本耗时超过 20h 的训练，使用 HP Z8 G4 仅需要 11h，节省了一半的时间。

MobileNet 训练速度如何？在工业铭牌检测深度神经网络模型训练中，HP Z8 G4 的表现同样速度更快。

由于 HP Z8 G4 电源功率可以高达 1700W，支持三块双宽 GPU 卡或者四块单宽 GPU 卡，能够一次性加载更多视频 / 图片数据，搭配双路 CPU 和高速硬盘，能够显著提升训练速度。另外，惠普工作站可以长时间高负荷运行，适合实验室环境进行科研工作。

担心安装环境要调一天？惠普的工作站都预装了最热门的数据科学软件工具，可以帮你大幅缩短数据科学环境的配置和维护时间。 

惠普还提出了 HP AI 开发平台，这是一款基于 Docker+Kubernetes 的人工智能容器云平台，能够实现异构资源的高效管理、调度和监控。提供了从模型开发、训练到部署的完整流程和工具，能够大幅度降低人工智能的进入门槛，提升开发效率。

在惠普工作站上使用 Linux 系统也很简单。11 月 9 日，惠普公司宣布将为旗下 Z 系列数据科学工作站预装微软 WSL 2（Windows Subsystem for Linux 2）。从此用户可以在工作站的 Windows 上简单、快捷地启动 Ubuntu 环境，获得安全、可管理的稳定开发环境。

惠普数据科学工作站已经在广泛应用 AI 技术的安防、文娱、医疗、零售、汽车等领域部署。惠普正致力于解决行业的痛点，赋能不同行业的智能化转型。

通过与英特尔和英伟达等合作伙伴紧密合作，惠普在 Z 系列工作站上对所采用的企业级组件进行了测试与认证，可确保这些机器在高密集计算和图形工作流中提供出色稳定的性能。 

进行深度学习开发时，有一套性能良好且运转稳定的硬件设备至关重要，惠普Z系列数据科学工作站将是你的得力助手。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com