We introduce the IBM Analog Hardware Acceleration Kit, a new and first of a kind open source toolkit to simulate analog crossbar arrays in a convenient fashion from within PyTorch (freely available at https://github.com/IBM/aihwkit). The toolkit is under active development and is centered around the concept of an "analog tile" which captures the computations performed on a crossbar array. Analog tiles are building blocks that can be used to extend existing network modules with analog components and compose arbitrary artificial neural networks (ANNs) using the flexibility of the PyTorch framework. Analog tiles can be conveniently configured to emulate a plethora of different analog hardware characteristics and their non-idealities, such as device-to-device and cycle-to-cycle variations, resistive device response curves, and weight and output noise. Additionally, the toolkit makes it possible to design custom unit cell configurations and to use advanced analog optimization algorithms such as Tiki-Taka. Moreover, the backward and update behavior can be set to "ideal" to enable hardware-aware training features for chips that target inference acceleration only. To evaluate the inference accuracy of such chips over time, we provide statistical programming noise and drift models calibrated on phase-change memory hardware. Our new toolkit is fully GPU accelerated and can be used to conveniently estimate the impact of material properties and non-idealities of future analog technology on the accuracy for arbitrary ANNs.


翻译:我们引入了IBM Analog 硬件加速工具包(IBM Analog 硬件加速器),这是首个新型开放源码工具包,从PyTorrch内部以方便的方式模拟模拟模拟跨条阵列(可免费查阅https://github.com/IBM/aihwkit)。该工具包正在积极开发之中,围绕“分析器”的概念,该“分析器”可以捕捉在横条阵列上进行的计算。Analog 瓷砖可以用来扩大现有网络模块,配有模拟组件,并利用PyTorrch框架的灵活性,任意建造人工神经网络。Analog 直径直径直径直径图可以方便地配置,以模仿大量不同的模拟硬件特性及其非理想性,例如设备对设备的不同版本和周期的变异变、耐抗装置反应曲线以及重量和输出噪音。此外,该工具包可以设计定制定制定制定制自定制单元的单元配置,并使用高级模拟缩缩算法,例如Tiki-Taka。此外,对于快速的内存和不断更新的行为模式只能设定为“快速精确度”的缩缩缩缩缩缩缩缩缩图,用于我们使用的统计技术的缩动的缩略图。在使用。

0
下载
关闭预览

相关内容

【Manning新书】C++并行实战,592页pdf,C++ Concurrency in Action
【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
专知会员服务
17+阅读 · 2020年9月6日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
【新书】Python数据科学食谱(Python Data Science Cookbook)
专知会员服务
113+阅读 · 2020年1月1日
【精通OpenCV 4】Mastering OpenCV 4 - Third Edition 随书代码
专知会员服务
35+阅读 · 2019年11月13日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
carla 体验效果 及代码
CreateAMind
7+阅读 · 2018年2月3日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
3+阅读 · 2018年3月2日
VIP会员
相关VIP内容
【Manning新书】C++并行实战,592页pdf,C++ Concurrency in Action
【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
专知会员服务
17+阅读 · 2020年9月6日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
【新书】Python数据科学食谱(Python Data Science Cookbook)
专知会员服务
113+阅读 · 2020年1月1日
【精通OpenCV 4】Mastering OpenCV 4 - Third Edition 随书代码
专知会员服务
35+阅读 · 2019年11月13日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
8+阅读 · 2018年12月28日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
carla 体验效果 及代码
CreateAMind
7+阅读 · 2018年2月3日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员