脉冲神经网络(Spiking Neural Network, SNN)包含具有时序动力学特性的神经元节点、稳态-可塑性平衡的突触 结构、功能特异性的网络环路等,高度借鉴了生物启发的局部非监督(如脉冲时序依赖可塑性、短时突触可塑性、局部稳 态调节等)、全局弱监督(如多巴胺奖赏学习、基于能量的函数优化等)的生物优化方法,因此具有强大的时空信息表征、 异步事件信息处理、网络自组织学习等能力。SNN 的研究属于交叉学科,将深入融合脑科学和计算机科学,因此对其研究 也可以主要分为两大类:一类是以更好的理解生物系统为最终目的;另一类是以追求卓越计算性能为优化目标。本文首先 对当前这两大类 SNN 的研究进展、研究特点等进行分析,重点介绍基于 Spike 的多类异步信息编码、基于 Motif 分布的多 亚型复杂网络结构、多层时钟网络自组织计算、神经形态计算芯片的软硬结合等。同时,介绍一种融合生物多尺度、多类 型神经可塑性的高效 SNN 优化策略,使得 SNN 中的信度分配可以从宏观尺度有效覆盖到微观尺度,如全部的网络输出、 网络隐层状态、局部的各个神经节点等,并部分解答生物系统是如何通过局部参数的调优而实现全局网络优化的问题。这 将不仅为现有人工智能模型提高其认知能力指明一种可能的生物类优化方向,还为反向促进生命科学中生物神经网络的可 塑性研究新发现提供启发。本文认为,脉冲神经网络的发展目标不是构建人工神经网络的生物版本替代品,而是通过突破 生物启发的多尺度可塑性优化理论,去粗取精,最终实现具有生物认知计算特色的新一代高效脉冲神经网络模型,使其有 望获得更快的学习速度、更小的能量消耗、更强的适应性和更好的可解释性等。

http://cjc.ict.ac.cn/online/onlinepaper/ztl-2021912113619.pdf

成为VIP会员查看完整内容
61

相关内容

专知会员服务
67+阅读 · 2021年9月10日
专知会员服务
31+阅读 · 2021年5月7日
专知会员服务
57+阅读 · 2021年5月4日
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
专知会员服务
43+阅读 · 2021年3月8日
专知会员服务
32+阅读 · 2021年2月1日
专知会员服务
105+阅读 · 2020年10月31日
量子信息技术研究现状与未来
专知会员服务
40+阅读 · 2020年10月11日
深度学习可解释性研究进展
专知会员服务
97+阅读 · 2020年6月26日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
CCCF专栏 | 自然语言处理中的深度学习:评析与展望
中国计算机学会
8+阅读 · 2019年9月18日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
人工智能的另一条发展路径:类脑智能技术初探
腾讯研究院
5+阅读 · 2019年4月1日
脉冲神经网络与小样本学习【附PPT】
人工智能前沿讲习班
46+阅读 · 2019年2月1日
综述AI未来:神经科学启发的类脑计算
人工智能学家
11+阅读 · 2018年4月24日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
脉冲神经网络,下一代机器学习?
专知
12+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
36+阅读 · 2018年1月13日
A Fully Tensorized Recurrent Neural Network
Arxiv
0+阅读 · 2021年11月10日
Arxiv
3+阅读 · 2021年11月5日
Arxiv
7+阅读 · 2019年10月6日
LARNN: Linear Attention Recurrent Neural Network
Arxiv
5+阅读 · 2018年8月16日
VIP会员
相关VIP内容
专知会员服务
67+阅读 · 2021年9月10日
专知会员服务
31+阅读 · 2021年5月7日
专知会员服务
57+阅读 · 2021年5月4日
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
专知会员服务
43+阅读 · 2021年3月8日
专知会员服务
32+阅读 · 2021年2月1日
专知会员服务
105+阅读 · 2020年10月31日
量子信息技术研究现状与未来
专知会员服务
40+阅读 · 2020年10月11日
深度学习可解释性研究进展
专知会员服务
97+阅读 · 2020年6月26日
相关资讯
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
CCCF专栏 | 自然语言处理中的深度学习:评析与展望
中国计算机学会
8+阅读 · 2019年9月18日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
人工智能的另一条发展路径:类脑智能技术初探
腾讯研究院
5+阅读 · 2019年4月1日
脉冲神经网络与小样本学习【附PPT】
人工智能前沿讲习班
46+阅读 · 2019年2月1日
综述AI未来:神经科学启发的类脑计算
人工智能学家
11+阅读 · 2018年4月24日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
脉冲神经网络,下一代机器学习?
专知
12+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
36+阅读 · 2018年1月13日
微信扫码咨询专知VIP会员