【优博微展2018】夏立雪：阻变存储器高能效神经网络计算系统关键技术研究

夏立雪：2018年清华大学优秀博士学位论文二等奖获得者

阻变存储器高能效神经网络计算系统关键技术研究

Key Technologies of Energy-efficient ReRAM-based Neural Network Computing Systems

作　　者：夏立雪         

指导教师：汪    玉

培养院系：电子工程系             

学       科：电子科学与技术

读博感言：不积跬步，无以至千里

研究背景/选题意义/研究价值

神经网络计算在智能应用中展现了高识别准确度的优势，但单次识别就需要数百亿的计算量以及数百兆字节的参数存储量，这对计算系统产生了越来越高的能效需求。阻变存储器等新兴工艺不仅已作为非易失存储投入实际生产，还提供了在存储本地实现计算的新渠道，在实现高能效神经网络计算系统方面有重要前景，具有推动智能计算领域进一步发展的巨大潜力。该研究有助于我国打破当前CMOS工艺下的芯片制造技术壁垒，利用我国工艺转型代价小的优势，以弯道超车的形式在下一代智能芯片研制中占据世界领先地位。

主要研究内容

                                                 

论文采用自顶向下的方式，按照电路设计中的多个层次，针对阻变存储器的器件特性，开展面向大规模神经网络计算的系统结构以及自动化设计流程研究。在算法层至结构层，提出卷积层运算在阻变存储器阵列上的映射方法，并针对卷积层引入高能耗数模接口的问题，提出单比特量化方法与单比特接口结构，提升计算能效；在结构层到电路层，提出对阵列计算准确度进行预估的行为级仿真模型，以及一套神经网络计算系统的层次化结构描述方法，将系统分为加速器层、计算块层和计算单元层三个层次，提升仿真速度并支持自动化寻优；在电路层到器件层，提出面向多种器件错误场景的冗余结构，以及利用神经网络算法的稀疏性进行容错的方法，提升芯片容错能力与使用寿命。

图1  研究内容之间的逻辑关系

图2  层次化的神经网络计算系统架构

主要创新点

1. 提出了在阻变存储器阵列进行卷积层运算的映射方法，以及层间数据单比特量化方法，提升了计算能效；

2. 提出了阻变存储器神经网络计算系统的行为级模型与高速仿真方法，提升了神经网络计算系统的仿真速度；

3. 针对阻变存储器阵列的硬错误，提出了容错神经网络推断方法，利用冗余容错结构和容错阻值映射方法，提高神经网络计算系统的容错能力；

4. 提出阻变存储器阵列的容错神经网络训练方法，采用关键参数写入的降错方法和神经元重排序方法，延长芯片训练寿命。

代表性学术发表

1. Lixue Xia et al., Fault-Tolerant Training Enabled by On-Line Fault Detection for RRAM-Based Neural Computing Systems, in IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems (TCAD), 2018.

2. Lixue Xia et al., MNSIM: Simulation Platform for Memristor-based Neuromorphic Computing System, in IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems (TCAD), vol. 37, No. 5, 2018.

3. Lixue Xia et al., Stuck-at Fault Tolerance in RRAM Computing Systems, in IEEE Journal on Emerging and Selected Topics in Circuits and Systems (JETCAS), vol.8, No.1, 2018, pp.102-115.

4. Lixue Xia et al., Fault-Tolerant Training with On-Line Fault Detection for RRAM-Based Neural Computing Systems, in Design Automation Conference (DAC), 2017. （最佳论文奖提名）

5. Lixue Xia et al., Switched by Input: Power Efficient Structure for RRAM-based Convolutional Neural Network, in Design Automation Conference (DAC), 2016. 

6. Lixue Xia et al., Technological Exploration of RRAM Crossbar Array for Matrix-Vector Multiplication, in Journal of Computer Science and Technology (JCST), vol.31, No.1, 2016, pp.3-19.

7. Lixue Xia et al., MNSIM: Simulation Platform for Memristor-based Neuromorphic Computing System, in Design, Automation & Test in Europe Conference & Exhibition (DATE), 2016, pp.469-474.

8. Lixue Xia et al., An Accurate and Low Cost PM2.5 Estimation Method Based on Artificial Neural Network, in Asia and South Pacific Design Automation Conference (ASP-DAC), 2015, pp.190-195.

作者：夏立雪

供图：夏立雪

编辑：清华大学研究生院  吴佳瑛  李文

转载须经作者同意授权