在过去的几年里,每个月都会发布新的机器学习加速器,用于语音识别、视频对象检测、辅助驾驶和许多数据中心应用。本文更新了过去两年人工智能加速器和处理器的调研。本文收集和总结了目前已公开发布的商业加速器的峰值性能和功耗数据。性能和功率值绘制在散点图上,从这个图上的趋势的一些维度和观察再次被讨论和分析。今年,我们还编制了一个基准性能结果列表,并计算了相对于峰值性能的计算效率。

引言

在过去几年里,初创公司和成熟的技术公司一直在宣布、发布和部署各种各样的人工智能(AI)和机器学习(ML)加速器。这些加速器的重点一直是加速深度神经网络(DNN)模型,应用空间跨度从非常低功耗的嵌入式语音识别到数据中心规模的训练。在过去的一年里,新加速器的发布速度有所放缓,但定义市场和应用领域的竞争仍在继续。这种开发和部署加速器的动力是现代计算领域更大的工业和技术变革的一部分。

人工智能生态系统整合了嵌入式计算(边缘计算)、传统高性能计算(HPC)和高性能数据分析(HPDA)的组件,这些组件必须协同工作,以有效地为决策者、作战人员和分析人员提供使用能力[1]。图1展示了这种端到端人工智能解决方案及其组件的架构概述。在图1的左侧,结构化和非结构化数据源提供了实体的不同视图。这些原始数据产品被输入数据调整步骤,在此步骤中,它们被融合、聚合、结构化、累积并转换为信息。由数据调整步骤生成的信息输入到一系列有监督和无监督的算法中,比如神经网络。神经网络可以提取模式、预测新事件、填补缺失的数据,或者在数据集中寻找相似点,从而将输入的信息转化为可操作的知识。然后,这些可操作的知识被传递给人类,用于人机合作阶段的决策过程。人机合作阶段为用户提供有用和相关的洞察力,将知识转化为可操作的智能或洞察力。速度有所放缓,但定义市场和应用领域的竞争仍在继续。这种开发和部署加速器的动力是现代计算领域更大的工业和技术变革的一部分。

现代计算机系统是这个系统的基础。摩尔定律的趋势已经结束了[2],还有一些相关的定律和趋势,包括德纳尔标度(功率密度)、时钟频率、核心计数、每个时钟周期的指令和每个焦耳的指令(库米定律)[3]。从最先出现在汽车和智能手机上的片上系统(SoC)趋势来看,为常用的操作内核、方法或功能开发和集成加速器仍在不断进步和创新。这些加速器的设计在性能和功能灵活性之间有不同的平衡。这包括深度机器学习处理器和加速器[4]-[8]的创新爆炸。了解这些技术的相对优势对于将人工智能应用于具有重大限制的领域(如大小、重量和功率)尤其重要,无论是在嵌入式应用还是在数据中心。

本文是对过去两年IEEE-HPEC论文[9],[10]的更新。和过去几年一样,我们将回顾一些与理解加速器功能相关的主题。

  • 神经网络类型——虽然人工智能和机器学习包含了一系列广泛的基于统计的技术[1],但本文继续关注去年的重点,面向深度神经网络(DNNs)和卷积神经网络(CNN)的加速器和处理器,因为它们具有相当高的计算强度[11]。

  • 神经网络训练与推理——正如前两次调研中所解释的那样,该调研侧重于用于推理的加速器和处理器,原因有很多,包括国防和国家安全AI/ML边缘应用依赖推理。

  • 数值精度——我们将考虑加速器支持的所有数值精度类型,但对于大多数类型,它们的最佳推断性能是int8或fp16/bf16 (IEEE 16位浮点数或谷歌的16位脑浮点数)。但从图2中可以看出,许多不同的数值格式都报告了峰值性能。

  • 神经形态计算和光子计算——在今年的调研没有发布峰值性能和峰值功率的数字。有一些神经形态处理器与传统加速器(如[12])的相对比较,但没有确切的数字。也许明年,我们将开始看到实际的性能数据,我们可以纳入这个调研。

成为VIP会员查看完整内容
63

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
27+阅读 · 2021年7月3日
视频分析中的人工智能 (AI)白皮书,16页pdf
专知会员服务
62+阅读 · 2021年5月6日
德勤发布《2021年技术趋势》161页pdf(附下载)
专知会员服务
96+阅读 · 2021年4月16日
图计算加速架构综述
专知会员服务
47+阅读 · 2021年4月5日
专知会员服务
71+阅读 · 2021年3月20日
《2021年中国AIoT产业全景图谱》白皮书,244页pdf
专知会员服务
125+阅读 · 2021年1月16日
最新【图神经网络计算】2020综述论文,23页PDF
专知会员服务
191+阅读 · 2020年10月3日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
292+阅读 · 2020年6月16日
白皮书 | 工业智能前沿报告,35页pdf
专知
28+阅读 · 2021年3月9日
特斯拉首席设计师150页PPT详解其全自动驾驶芯片
智能交通技术
13+阅读 · 2019年5月1日
MLIR 发布:全新的中介码与编译器框架
谷歌开发者
7+阅读 · 2019年4月10日
IDC与百度联合发报告:预测2019年人工智能十大趋势
全球人工智能
3+阅读 · 2018年12月21日
CCF发布2017-2018中国计算机科学技术发展报告
中国计算机学会
17+阅读 · 2018年11月7日
Arxiv
0+阅读 · 2021年11月11日
Arxiv
0+阅读 · 2021年11月11日
Arxiv
5+阅读 · 2021年9月30日
Arxiv
8+阅读 · 2019年3月21日
Arxiv
10+阅读 · 2019年1月24日
Arxiv
4+阅读 · 2015年8月25日
VIP会员
相关VIP内容
专知会员服务
27+阅读 · 2021年7月3日
视频分析中的人工智能 (AI)白皮书,16页pdf
专知会员服务
62+阅读 · 2021年5月6日
德勤发布《2021年技术趋势》161页pdf(附下载)
专知会员服务
96+阅读 · 2021年4月16日
图计算加速架构综述
专知会员服务
47+阅读 · 2021年4月5日
专知会员服务
71+阅读 · 2021年3月20日
《2021年中国AIoT产业全景图谱》白皮书,244页pdf
专知会员服务
125+阅读 · 2021年1月16日
最新【图神经网络计算】2020综述论文,23页PDF
专知会员服务
191+阅读 · 2020年10月3日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
292+阅读 · 2020年6月16日
相关资讯
相关论文
Arxiv
0+阅读 · 2021年11月11日
Arxiv
0+阅读 · 2021年11月11日
Arxiv
5+阅读 · 2021年9月30日
Arxiv
8+阅读 · 2019年3月21日
Arxiv
10+阅读 · 2019年1月24日
Arxiv
4+阅读 · 2015年8月25日
微信扫码咨询专知VIP会员