解耦合的类脑计算系统栈设计

类脑计算是一种借鉴生物大脑计算原理的信息处理范式,涉及算法、硬件和 工艺等诸多领域。在算法层面,深度神经网络在各类智能问题的解决上表现出了 一定的通用性;在硬件层面,大量涌现的深度学习专用芯片和神经形态芯片为类 脑计算的相关研究领域提供强大算力;在工艺层面,以忆阻器为代表的各种新型 器件也为类脑计算芯片架构突破“冯诺依曼瓶颈”带来了新的可能。但现有的类 脑计算研究尚缺乏能将算法、芯片和工艺等不同领域技术需求有机结合起来的软 硬件系统栈设计。例如,专用芯片在带来更高计算性能的同时也降低了灵活性,使 得算法的适配变得困难;忆阻器等新型器件在为芯片提供更高能效的同时,也带 来了器件不稳定引起的噪音等问题。针对上述问题,本文提出一套新型类脑计算 系统栈设计,在理论层面引入类脑计算完备性,使得类脑系统实现软硬件解耦合 成为可能;在基础软件层面设计了相应的编译器,实现软件编程模型到硬件执行 模型的等价转换;在硬件层面设计了基于忆阻器件的类脑芯片架构,充分利用本 文提出的编译器设计和解耦合系统栈带来的优势。本文的创新点主要有:

• 提出软硬件解耦合的类脑系统栈设计。在系统栈中引入软件编程模型和硬件 执行模型来解耦合——软件编程模型灵活度高,适应各类编程需求,而硬件 执行模型足够简洁,适合硬件高效实现;引入类似于图灵完备性的类脑完备 性概念来建立软件和硬件两类模型的等价性,并给出相应的构造性证明,使 得类脑计算系统软硬件解耦合成为可能。

• 设计针对硬件约束的类脑编译器,将神经网络软件编程模型转换为等价的硬 件执行模型。编译器通过数据重编码方式,使目标网络在极端硬件约束条件 下仍然能够保持精度损失可控(包括无损);此外,提出适用于硬件执行模 型的粗粒度剪枝压缩方法,充分利用神经网络模型本身的冗余,在 ImageNet 数据集的 VGG16 模型上,即使剪枝粒度达到 256 × 256 压缩率也能达到 60% 以上,且精度损失可以忽略。

• 设计与上述类脑计算完备性和编译技术适配的新型类脑芯片架构 FPSA (Field Programmable Synapse Array)。利用编译器转换后硬件执行模型的简洁 性,简化基于忆阻器的芯片结构设计,提高计算密度与计算性能,并引入可 重构路由架构以优化片内通信。与同样基于忆阻器的类脑芯片架构 PRIME 相比,性能提升可达三个数量级。

成为VIP会员查看完整内容
30

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
专知会员服务
13+阅读 · 2020年12月17日
专知会员服务
77+阅读 · 2020年12月6日
【清华大学龙明盛副教授】迁移学习理论与算法,59页ppt
专知会员服务
82+阅读 · 2020年11月27日
【NeurIPS 2020】对比学习全局和局部医学图像分割特征
专知会员服务
43+阅读 · 2020年10月20日
FPGA加速系统开发工具设计:综述与实践
专知会员服务
65+阅读 · 2020年6月24日
专知会员服务
73+阅读 · 2020年5月21日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
10000个科学难题 • 制造科学卷
科学出版社
13+阅读 · 2018年11月29日
VIP会员
相关VIP内容
专知会员服务
13+阅读 · 2020年12月17日
专知会员服务
77+阅读 · 2020年12月6日
【清华大学龙明盛副教授】迁移学习理论与算法,59页ppt
专知会员服务
82+阅读 · 2020年11月27日
【NeurIPS 2020】对比学习全局和局部医学图像分割特征
专知会员服务
43+阅读 · 2020年10月20日
FPGA加速系统开发工具设计:综述与实践
专知会员服务
65+阅读 · 2020年6月24日
专知会员服务
73+阅读 · 2020年5月21日
微信扫码咨询专知VIP会员