The implementation of current deep learning training algorithms is power-hungry, owing to data transfer between memory and logic units. Oxide-based RRAMs are outstanding candidates to implement in-memory computing, which is less power-intensive. Their weak RESET regime, is particularly attractive for learning, as it allows tuning the resistance of the devices with remarkable endurance. However, the resistive change behavior in this regime suffers many fluctuations and is particularly challenging to model, especially in a way compatible with tools used for simulating deep learning. In this work, we present a model of the weak RESET process in hafnium oxide RRAM and integrate this model within the PyTorch deep learning framework. Validated on experiments on a hybrid CMOS/RRAM technology, our model reproduces both the noisy progressive behavior and the device-to-device (D2D) variability. We use this tool to train Binarized Neural Networks for the MNIST handwritten digit recognition task and the CIFAR-10 object classification task. We simulate our model with and without various aspects of device imperfections to understand their impact on the training process and identify that the D2D variability is the most detrimental aspect. The framework can be used in the same manner for other types of memories to identify the device imperfections that cause the most degradation, which can, in turn, be used to optimize the devices to reduce the impact of these imperfections.


翻译:由于记忆和逻辑单位之间的数据传输,当前深层次培训算法的实施是强力的。基于Oxide的RRAM系统是执行模拟计算中的杰出候选者,而模拟计算是低功率密集度的。它们薄弱的RESET系统对学习特别有吸引力,因为它能以显著的耐力调节设备的抗力。然而,这个系统中的抗拒变化行为有许多波动,对模型来说特别具有特别挑战性,特别是与用于模拟深层次学习的工具相容。在这项工作中,我们展示了一个模型,即氢氧化氨RRAM系统薄弱的RESET进程,并将这一模型纳入PyTorrch深学习框架中。在混合的CMOS/RRAM技术实验中经过验证后,我们的模型复制了这些装置的抗力性、进化行为和装置到装置到装置的变异性(D2D)的变异性。我们使用这个工具来培训比纳氏神经网络进行MNIST的手写式数字识别任务和CIFAR-10天体分类任务。我们用模型模拟我们的模型,而没有各种装置的不完善的模型,以了解这些装置的不完善的特性来理解其最大的变异性,从而了解其最有害的变异性框架的变异性可以确定这些变性。

0
下载
关闭预览

相关内容

【CMU】最新深度学习课程, Introduction to Deep Learning
专知会员服务
36+阅读 · 2020年9月12日
专知会员服务
39+阅读 · 2020年9月6日
【阿里巴巴-CVPR2020】频域学习,Learning in the Frequency Domain
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
【推荐】MXNet深度情感分析实战
机器学习研究会
16+阅读 · 2017年10月4日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
Arxiv
1+阅读 · 2021年10月25日
Arxiv
65+阅读 · 2021年6月18日
Arxiv
9+阅读 · 2021年2月25日
Arxiv
6+阅读 · 2018年12月10日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
VIP会员
相关VIP内容
相关资讯
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
【推荐】MXNet深度情感分析实战
机器学习研究会
16+阅读 · 2017年10月4日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
相关论文
Top
微信扫码咨询专知VIP会员