类脑计算的前沿论文,看我们推荐的这7篇

2019 年 1 月 7 日 人工智能前沿讲习班


关注文章公众号

回复"类脑计算"获取本主题精选论文



近年来随着传统人工智能算法逐步陷入瓶颈,人们期待与从脑科学中得到相应的启发来改进模型,进而从狭义人工智能走向通用人工智能。类脑智能作为人工智能重要的应用方向之一,也在逐步探索高效、快速并且具有生物可解释性的算法模型。


由SFFAI17分享嘉宾杜长德同学为大家精选出来的关于生物视觉建模的论文以及李春放同学为大家精选出来的类生物的神经网络模型和小样本计算方法,将带你了解类脑研究的基本方向。你可以先仔细阅读,并带着问题来现场交流哦。


1


🌟🌟🌟🌟🌟

推荐理由:2017年日本Kamitani团队提出的基于深度学习的神经解码研究,发表在nature communication上。该文章系统研究了各种视觉特征(SIFT,GIST,CNN1-8等)与大脑视觉皮层各个脑区(V1,V2, V4,…)之间的对应关系,分析了计算机视觉模型和人脑视觉之间的联系和差异。该研究项目采用ImageNet图像数据库中的部分类别作为视觉刺激,并且已经将大脑信号数据和代码开源,为该领域做出了很大贡献。由于论证了深度神经网络和大脑视觉通路的联系,为任意物体的视觉神经编解码研究建立了很好的基础,值得仔细阅读。

推荐理由来自:杜长德


2

🌟🌟🌟🌟🌟

推荐理由:这篇文章是自动化所张铁林老师和曾毅老师团队对SNN更新规则的探索成果之一,主要是要解决SNN用于图像分类时不能进行监督学习的问题。

本文与曾老师团队其他工作一样,都是基于系统神经科学对生物神经网络的认识,提出的SNN训练方法相比于其他同类工作更加贴近生物神经系统在学习时的更新过程。

文中提出的SNN更新方法同时考虑了神经元的四个特性,包括神经元膜电位总是趋于稳态,神经元存在兴奋型和抑制型两类,神经元突触拥有短时可塑性(STP),神经元之间存在逆向通路用于信号的反响传播。利用这四种特性,就可以使用简单的SNN网络结构获得较好的图像分类结果。

这篇文章最大的亮点在于它是为数不多的既能保证SNN仿生特性不减少,又能大幅提高图像分类准确率,还能对实验结果进行分析的文章。而且本文前几部分对SNN做了较为详尽的介绍,只要接触过ANN就能大致看懂。另外,文中的方法主要源于曾毅和张铁林老师的另一篇文章,Improving Multi-layer Spiking Neural Networks by Incorporating Brain-inspired Rules,可以两篇一起阅读,更能加深对这些SNN更新法则的理解。

推荐理由来自:李春放


3

🌟🌟🌟🌟🌟

推荐理由:这篇文章是多伦多大学向量实验室的Snell提出了一种简单有效的方法,原型网络,用于解决小样本学习中图像分类准确率太低的问题。

本文首次将欧式距离引入小样本学习,作为向量空间的度量,并且首次将类别特征向量(类别原型)与样本特征向量映射到同一向量空间,大幅度提升了小样本学习用于复杂图像分类的准确率。

从目前的研究来看,原型网络开创了小样本学习中的一种重要范式,之后的众多方法多是基于原型网络进行设计的。

推荐理由来自:李春放


4


🌟🌟🌟🌟

推荐理由:2017年普渡大学Zhongming Liu团队提出的基于深度学习的神经编解码研究,发表在Cerebral Cortex上。该文章从动态视频刺激入手研究人脑对动态场景的编码和解码能力。文章采用AlexNet为基础深度学习网络,将视频刺激在AlexNet中的各层表征与大脑视觉皮层各个脑区建立关系。得出初级视觉皮层与神经网络的浅层特征相关性较高,而高级视觉皮层与神经网络深层次特征相关性较高的结论。文章实现了根据fMRI脑活动按数据重建对应的动态视频,虽然清晰度有待提高但该研究项目已经将数据和代码开源,值得一读。

推荐理由来自:杜长德


5

🌟🌟🌟🌟

推荐理由:2017年Naselaris等人提出的基于深度特征加权的神经编码模型,发表在NeuroImage上。该文章基于群体感受野和多层特征加权思想构建了一个可解释的神经编码模型,相较于传统的编码模型,该方法效果更好,可解释性也更好,为理解视觉神经编码方式作出了重要贡献。

推荐理由来自:杜长德


6

🌟🌟🌟🌟

推荐理由:这篇文章是新加坡国立大学淡马锡实验室的两位研究员发表在NeurIPS 2018 上的一篇文章,利用概率的方法解决了脉冲信号不可求导的问题,从而大幅提高了SNN用于图像分类的准确率,还创新性地将SNN用于动态图像识别、人体动作识别和音频识别,获得了非常好的实验效果。

本文主要关注了神经元的两个宏观表现,即突触权重和轴突延迟,对于SNN的影响,以及将这两个表现用于网络更新的方法。作者还引入了强化学习中信用分配策略的概念,根据膜电位与脉冲产生的阈值电位,将脉冲的出现和消失都变成概率,使得离散的脉冲信号在计算梯度时变成了连续的脉冲产生概率,从而在保证信号形式不变的情况下解决了脉冲信号不可求导的问题。

文中将SNN脉冲产生和传输的过程分解成与ANN信号传输过程类似的几部分,用“管道函数”的形式表示出来。虽然“管道”中的数据流都是离散的,但是“管道函数”中只有激活函数的形式是离散的,所以在求梯度时只需要对激活函数部分进行特殊处理即可。

这篇文章中提出的SNN训练方法是真正地利用网络中传输的离散信号对网络进行优化,而之前很多提出的能够端到端学习的方法则多是利用膜电位等间接信号。更重要的是,本文提出的训练方法,能适用多种任务,还都能获得最好的效果,这为以后实现单个SNN同时处理时域和空域信号打下基础。

推荐理由来自:李春放


7

🌟🌟🌟🌟

推荐理由:这篇文章是要进一步提升小样本学习在图像分类问题中的准确度。

本文关注了分类任务中,同一任务的多个类别之间有较强的相关性,从而根据任务中多个类别的共同特性对特征提取器进行调整。另外,文中也对常用的两种向量空间度量,余弦相似度和欧式距离,进行了整合,通过一个参数的调整使得新的度量在两种经典度量之间动态变化,从而更好地适用于不同的分类任务。

TADAM是目前为止在mini-imagenet数据集上性能最好的模型,它的作用原理值得思考,有助于进一步提升小样本学习在图像分类方面的能力。

推荐理由来自:李春放



主题

类脑计算


近年来随着传统人工智能算法逐步陷入瓶颈,人们期待与从脑科学中得到相应的启发来改进模型,进而从狭义人工智能走向通用人工智能。类脑智能作为人工智能重要的应用方向之一,也在逐步探索高效、快速并且具有生物可解释性的算法模型。


时间

2019年1月13日(周日)

14:00 -- 17:00



地点

中国科学院自动化研究所


报名方式

点击下方原文链接 或 扫描二维码报名




活动名额

1、为确保小范围深入交流,本次活动名额有限(不收取任何费用);

2、活动采取审核制报名,我们将根据用户研究方向与当期主题的契合度进行筛选,通过审核的用户将收到确认邮件;

3、 如您无法按时到场参与活动,请于活动开始前 24 小时在AIDL微信公众号后台留言告知,留言格式为放弃报名 + 报名电话。无故缺席者,将不再享有后续活动的报名资格。


SFFAI招募

现代科学技术高度社会化,在科学理论与技术方法上更加趋向综合与统一,为了满足人工智能不同领域研究者相互交流、彼此启发的需求,我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动,邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果,使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展,将对线下讨论的内容进行线上传播,使后来者少踩坑,也为讲者塑造个人影响力。

SFFAI还将构建人工智能领域的知识树(AI Knowledge Tree),通过汇总各位参与者贡献的领域知识,沉淀线下分享的前沿精华,使AI Knowledge Tree枝繁叶茂,为人工智能社区做出贡献。

这项意义非凡的社区工作正在稳步向前,衷心期待和感谢您的支持与奉献!

报名通道已开启,请点击下方
阅读原文
报名
↓↓
登录查看更多
21

相关内容

【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
25+阅读 · 2020年5月25日
中科大-人工智能方向专业课程2020《脑与认知科学导论》
清华大学张敏老师,个性化推荐的基础与趋势,145页ppt
专知会员服务
85+阅读 · 2019年11月27日
【BAAI|2019】类脑神经网络技术及其应用,鲁华祥(附pdf)
专知会员服务
29+阅读 · 2019年11月21日
注意力机制模型最新综述
专知会员服务
260+阅读 · 2019年10月20日
可解释推荐:综述与新视角
专知会员服务
108+阅读 · 2019年10月13日
CVPR 2019 论文解读精选
AI研习社
7+阅读 · 2019年6月16日
数据挖掘的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
7+阅读 · 2019年3月11日
前沿 | 字节跳动李航:智能与计算
MOOC
6+阅读 · 2019年2月6日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
SFFAI 17 报名通知 | 类脑计算介绍及最新进展
人工智能前沿讲习班
10+阅读 · 2019年1月7日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
《常用算法之智能计算 (五) 》:模糊计算
数盟
8+阅读 · 2018年12月24日
IBM长文解读人工智能、机器学习和认知计算
人工智能学家
5+阅读 · 2018年8月26日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
Arxiv
20+阅读 · 2019年9月7日
VIP会员
相关VIP内容
相关资讯
CVPR 2019 论文解读精选
AI研习社
7+阅读 · 2019年6月16日
数据挖掘的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
7+阅读 · 2019年3月11日
前沿 | 字节跳动李航:智能与计算
MOOC
6+阅读 · 2019年2月6日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
SFFAI 17 报名通知 | 类脑计算介绍及最新进展
人工智能前沿讲习班
10+阅读 · 2019年1月7日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
《常用算法之智能计算 (五) 》:模糊计算
数盟
8+阅读 · 2018年12月24日
IBM长文解读人工智能、机器学习和认知计算
人工智能学家
5+阅读 · 2018年8月26日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
Top
微信扫码咨询专知VIP会员