项目名称: 前馈神经网络学习算法的设计与分析

项目编号: No.11171367

项目类型: 面上项目

立项/批准年度: 2012

项目学科: 数理科学和化学

项目作者: 吴微

作者单位: 大连理工大学

项目金额: 46万元

中文摘要: 人工神经网络已经成功应用于众多领域,但是其学习算法速度慢、精度低的缺点是制约其进一步发展的一个瓶颈。本项目继续前三个国家自然科学基金的工作,致力于快速有效的神经网络学习算法的构造与分析,包括以下重点内容:继续研究神经网络在线梯度法这种最简单的随机型学习方法在某些情况下的确定型收敛性;推广细化我们已得到的模糊神经元阈值在某些情况下可以去掉这一有趣结果,并开始研究一般情况下阈值不能去掉时的最优初值选择问题,以小代价加快模糊神经网络学习速度;将信息处理理论中新兴的L-1/2正则化方法与近来流行的极端学习机神经网络相结合,从权值修剪角度解决极端学习机隐单元个数选择这个关键问题;提出脉冲神经网络运行新机制,即除了利用原有的脉冲激发时间信息(反应函数x(t)达到阈值时所需时间)之外,还要利用脉冲的激发强度信息(x(t)达到阈值时的导数值),希望在改善脉冲神经网络映射能力和学习速度方面取得突破性进展。

中文关键词: 神经网络;在线梯度学习算法;L-1/2正则化;结构稀疏化;生物信息计算

英文摘要:

英文关键词: neural networks;online gradient learning method;L1/2 regularization;constructional sparcification;Computational Bioinformatics

成为VIP会员查看完整内容
3

相关内容

人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。
周志华教授:关于深度学习的一点思考
专知会员服务
121+阅读 · 2021年11月23日
专知会员服务
15+阅读 · 2021年10月11日
专知会员服务
18+阅读 · 2021年8月15日
专知会员服务
43+阅读 · 2021年5月19日
专知会员服务
19+阅读 · 2020年12月9日
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
专知会员服务
28+阅读 · 2020年10月24日
干货 | 深入理解深度学习中的激活函数
计算机视觉life
16+阅读 · 2019年1月29日
入门 | 从零开始,了解元学习
机器之心
17+阅读 · 2018年5月6日
一文读懂神经网络(附PPT、视频)
数据派THU
17+阅读 · 2018年3月25日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
36+阅读 · 2018年1月13日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
【推荐】伪标签学习导论 - 一种半监督学习方法
机器学习研究会
12+阅读 · 2017年10月5日
【深度学习基础】1.监督学习和最优化
微信AI
0+阅读 · 2017年6月7日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Convex-Concave Min-Max Stackelberg Games
Arxiv
0+阅读 · 2022年4月19日
Arxiv
26+阅读 · 2018年8月19日
小贴士
相关VIP内容
周志华教授:关于深度学习的一点思考
专知会员服务
121+阅读 · 2021年11月23日
专知会员服务
15+阅读 · 2021年10月11日
专知会员服务
18+阅读 · 2021年8月15日
专知会员服务
43+阅读 · 2021年5月19日
专知会员服务
19+阅读 · 2020年12月9日
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
专知会员服务
28+阅读 · 2020年10月24日
相关资讯
干货 | 深入理解深度学习中的激活函数
计算机视觉life
16+阅读 · 2019年1月29日
入门 | 从零开始,了解元学习
机器之心
17+阅读 · 2018年5月6日
一文读懂神经网络(附PPT、视频)
数据派THU
17+阅读 · 2018年3月25日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
36+阅读 · 2018年1月13日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
【推荐】伪标签学习导论 - 一种半监督学习方法
机器学习研究会
12+阅读 · 2017年10月5日
【深度学习基础】1.监督学习和最优化
微信AI
0+阅读 · 2017年6月7日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员