Ultra-fast \& low-power superconductor single-flux-quantum (SFQ)-based CNN systolic accelerators are built to enhance the CNN inference throughput. However, shift-register (SHIFT)-based scratchpad memory (SPM) arrays prevent a SFQ CNN accelerator from exceeding 40\% of its peak throughput, due to the lack of random access capability. This paper first documents our study of a variety of cryogenic memory technologies, including Vortex Transition Memory (VTM), Josephson-CMOS SRAM, MRAM, and Superconducting Nanowire Memory, during which we found that none of the aforementioned technologies made a SFQ CNN accelerator achieve high throughput, small area, and low power simultaneously. Second, we present a heterogeneous SPM architecture, SMART, composed of SHIFT arrays and a random access array to improve the inference throughput of a SFQ CNN systolic accelerator. Third, we propose a fast, low-power and dense pipelined random access CMOS-SFQ array by building SFQ passive-transmission-line-based H-Trees that connect CMOS sub-banks. Finally, we create an ILP-based compiler to deploy CNN models on SMART. Experimental results show that, with the same chip area overhead, compared to the latest SHIFT-based SFQ CNN accelerator, SMART improves the inference throughput by $3.9\times$ ($2.2\times$), and reduces the inference energy by $86\%$ ($71\%$) when inferring a single image (a batch of images).


翻译:超快 低功率超级导体 单通量 超导器 单通量 (SFQ) 的低功率超级导体 CNN 的 Systec 加速器 的建立是为了加强CNN 的推导量。 然而,基于 STHF 的 换位发送器 抓盘 内存(SPM ) 的阵列使 SFQ CN 加速器由于缺乏随机访问能力,无法超过其峰值的40 ⁇ 。 本文首先记录了我们对各种低温存储技术的研究,包括Vortex 的 VTM, Josephson-CMOS 中值内存、MRAM 和超高导流中存储器内存。 在此期间,我们发现上述技术中没有任何一项SFNC 加速器(SHFF) (SM) (SM) (SM) (SM) (SM) (SL) (SL) (SL) (SD) (SD) (SL) (SL) (SL) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (S) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (S) (SD) (S) (S) (SD) (S) (S) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (SD) (S) (S) (SD) (S) (S) (S) (SD) (SD) (SD)

0
下载
关闭预览

相关内容

在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
《Golang修养之路》干货书
专知会员服务
33+阅读 · 2021年5月8日
【经典书】Python金融大数据分析,566页pdf
专知会员服务
120+阅读 · 2020年8月1日
【陈天奇】TVM:端到端自动深度学习编译器,244页ppt
专知会员服务
85+阅读 · 2020年5月11日
专知会员服务
59+阅读 · 2020年3月19日
【阿里巴巴】 AI编译器,AI Compiler @ Alibaba,21页ppt
专知会员服务
43+阅读 · 2019年12月22日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
增强CNN学习能力的Backbone:CSPNet
CVer
4+阅读 · 2020年4月1日
已删除
将门创投
7+阅读 · 2020年3月13日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
阿里巴巴ET城市大脑
智能交通技术
6+阅读 · 2018年12月23日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
10+阅读 · 2018年12月4日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Golang高性能实战
架构文摘
4+阅读 · 2018年4月11日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
6+阅读 · 2021年7月26日
Arxiv
6+阅读 · 2020年3月16日
Arxiv
10+阅读 · 2019年1月24日
VIP会员
相关VIP内容
《Golang修养之路》干货书
专知会员服务
33+阅读 · 2021年5月8日
【经典书】Python金融大数据分析,566页pdf
专知会员服务
120+阅读 · 2020年8月1日
【陈天奇】TVM:端到端自动深度学习编译器,244页ppt
专知会员服务
85+阅读 · 2020年5月11日
专知会员服务
59+阅读 · 2020年3月19日
【阿里巴巴】 AI编译器,AI Compiler @ Alibaba,21页ppt
专知会员服务
43+阅读 · 2019年12月22日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
相关资讯
增强CNN学习能力的Backbone:CSPNet
CVer
4+阅读 · 2020年4月1日
已删除
将门创投
7+阅读 · 2020年3月13日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
阿里巴巴ET城市大脑
智能交通技术
6+阅读 · 2018年12月23日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
10+阅读 · 2018年12月4日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Golang高性能实战
架构文摘
4+阅读 · 2018年4月11日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Top
微信扫码咨询专知VIP会员