MacOS上云了！AWS还推出机器学习Trainium芯片：万亿次浮点运算，推理成本再降45%

会员服务 ·

MacOS上云了！AWS还推出机器学习Trainium芯片：万亿次浮点运算，推理成本再降45%

2020 年 12 月 2 日 新智元

新智元报道

编辑：QJP

【新智元导读】AWS宣布推出AWS Trainium，这是专门用于训练机器学习模型的下一代定制芯片，同时AWS还承诺通过对 TensorFlow、 PyTorch 和 MXNet 的支持，可以提供比任何竞争对手更高的云服务性能。

一直以来，机器学习都受到大大小小的限制。

模型的大小、速度以及昂贵的硬件，都是难以突破的瓶颈。

据MIT的一份报告指出，机器学习的相关研究很可能正在接近计算的极限。OpenAI 花费了1200万美元来训练它的 GPT-3语言模型，谷歌花费了大约6912美元来训练BERT。

AWS可能要提供更高的性价比。

在昨日的re:Invent开发者大会上，AWS发布了其设计的第二款定制的机器学习芯片--AWS Trainium。该公司承诺，它可以提供比云端任何竞争对手更高的性能，同时也支持 TensorFlow、PyTorch 和 MXNet等。

除了提供最具性价比的机器学习训练方案之外，Trainium 还提供了最高性能的计算能力，并支持更广泛的机器学习应用。

新一代定制芯片AWS Trainium，让模型推理成本再降45%

这款定制芯片的主要优势是速度和成本，AWS 承诺与标准 AWS GPU 实例相比，吞吐量提高30% ，每次推断的成本降低45% 。

Trainium 这款芯片还专门针对深度学习训练工作负载进行了优化，包括图像分类、语义搜索、翻译、语音识别、自然语言处理和推荐引擎等。它将以EC2（亚马逊弹性计算云）实例的形式出现在亚马逊的机器学习平台 SageMaker 中，基于这些定制芯片的新实例将于明年正式推出。

随着机器学习领域的加速进展，迫切需要提高性能，降低由推理和训练驱动的基础设施成本。就在去年，AWS 推出了AWS Inferentia，为客户提供低成本高性能的机器学习推理能力。虽然 Inferentia 解决了推理的成本，但许多开发团队还是受到固定的机器学习训练预算的限制。

这就限制了改进其模型和应用所需的训练的范围和频率。而新发布的 AWS Trainium 通过为云端机器学习训练提供最高的性能和最低的成本来应对这一挑战。

AWS Trainium 与 AWS Inferentia 有着相同的AWS Neuron SDK，这使得使用 Inferentia 的开发者可以很容易地开始使用 Trainium。

因为 Neuron SDK 集成了流行的机器学习框架，包括 TensorFlow、 PyTorch 和 MXNet，开发人员可以轻松地从基于GPU的实例迁移到 AWS Trainium，代码更改很少。

AWS Trainium 将通过 Amazon EC2实例和 AWS 深度学习 AMIs 以及管理服务(包括 Amazon SageMaker、 Amazon ECS、 EKS 和 AWS Batch)提供。

不过，由于没有基准测试，目前尚不清楚 Trainium 与谷歌的TPU进行比较结果如何。

谷歌最近也表示，在其即将推出的第四代TPU上，矩阵乘法(矩阵通常被用来表示输入人工智能模型的信息)运算速度将是第三代TPU的两倍以上，同时受益于互连技术的进步，它还提供了一个显著增强的内存带宽。

此外，AWS 也正与英特尔合作，推出基于 Habana Gaudi 的 EC2实例，用于机器学习训练。

明年起，这些实例也将有望提供比当前基于GPU的机器学习EC2实例高出40%的性价比，同时这些芯片也将支持 TensorFlow 和 PyTorch。这些都将于2021年上半年在 AWS 云中首次亮相。

AWS全球首推基于Mac Mini的EC2计算实例，可在云端运行MacOS

从今天开始，基于 Mac 操作系统的 Mac Amazon EC2 实例已经正式启用！

通过基于Mac mini，EC2 Mac实例首次使用户能够在 AWS 云中运行macOS，从而将 AWS 的灵活性、可扩展性和成本效益扩展到所有苹果开发人员。

通过 EC2 Mac 实例，为 iPhone、 iPad、 Mac、 Apple Watch、 Apple TV 和 Safari 开发应用程序的开发人员现在可以在几分钟内访问 macOS 环境，并根据需要动态扩展容量。

时至今日，已经有数以百万计的苹果开发者依靠 macOS 及其创新的工具、框架和 API 为苹果开发、构建、测试各种应用程序，这些平台在全球范围内服务超过10亿用户。

通过 EC2 Mac 实例，开发者现在可以利用 AWS 的灵活性、弹性的优势，更多地关注核心创新，比如开发有创意和实用的应用程序，进而减少在基础设施管理上的花费。

EC2 Mac 实例由 Mac mini 提供支持：采用 Intel 的第8代3.2 GHz (4.6 GHz turbo) Core i7处理器、6个物理/12逻辑核心和32GB内存，以及 AWS Nitro System，通过高速 Thunderbolt 3连接提供高达10gbps 的 VPC 网络带宽和8gbps 的 EBS 存储带宽。

亚马逊 EC2 Mac 实例由 AWS Nitro System 独一无二地启用，，支持 macOS Mojave 10.14和 macOS Catalina 10.15，不久后将支持 macOS Big Sur 11.0。

用户还可以通过 SSH 连接到 Mac 实例，通过 SSH 连接到命令行界面，通过 VNC 客户端共享活动远程屏幕，获得图形界面。