项目名称: 前馈神经网络的奇异学习动态研究

项目编号: No.60875035

项目类型: 面上项目

立项/批准年度: 2009

项目学科: 轻工业、手工业

项目作者: 魏海坤

作者单位: 东南大学

项目金额: 28万元

中文摘要: 由于结构对称性等原因,多层感知器、RBF网等前馈神经网络的参数空间中存在大量的奇异区域。受这些奇异区域的影响,前馈神经网络的学习过程中普遍存在着局部最小点多、学习速度慢、学习易陷入平坦区(plateau)等异常现象。研究奇异区域附近的学习动态,对理解神经网络的动力学行为、改善神经网络设计等具有重要意义。本课题拟通过分析奇异区域的稳定性及其附近的学习轨迹,研究神经网络的奇异学习动态,并揭示plateau现象为代表的各类奇异学习行为的内在机理。研究结果将为改进神经网络学习和设计提供理论支持。

中文关键词: 神经网络;奇异性;学习动态;plateau现象

英文摘要:

英文关键词:

成为VIP会员查看完整内容
0

相关内容

人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。
【AAAI2022】一种基于状态扰动的鲁棒强化学习算法
专知会员服务
33+阅读 · 2022年1月31日
【博士论文】基于深度学习的单目场景深度估计方法研究
专知会员服务
11+阅读 · 2021年7月27日
专知会员服务
19+阅读 · 2020年12月9日
专知会员服务
43+阅读 · 2020年12月8日
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
专知会员服务
28+阅读 · 2020年10月24日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
神经网络,凉了?
PaperWeekly
0+阅读 · 2022年3月16日
正则化方法小结
极市平台
2+阅读 · 2021年11月24日
一文搞懂反向传播
机器学习与推荐算法
18+阅读 · 2020年3月12日
支持个性化学习的行为大数据可视化研究
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
动态可视化指南:一步步拆解LSTM和GRU
论智
16+阅读 · 2018年10月25日
PyTorch:60分钟入门学习
全球人工智能
13+阅读 · 2018年5月18日
基础 | GRU神经网络
黑龙江大学自然语言处理实验室
27+阅读 · 2018年3月5日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月18日
Risk and optimal policies in bandit experiments
Arxiv
0+阅读 · 2022年4月18日
Arxiv
0+阅读 · 2022年4月17日
小贴士
相关VIP内容
【AAAI2022】一种基于状态扰动的鲁棒强化学习算法
专知会员服务
33+阅读 · 2022年1月31日
【博士论文】基于深度学习的单目场景深度估计方法研究
专知会员服务
11+阅读 · 2021年7月27日
专知会员服务
19+阅读 · 2020年12月9日
专知会员服务
43+阅读 · 2020年12月8日
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
专知会员服务
28+阅读 · 2020年10月24日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
相关资讯
神经网络,凉了?
PaperWeekly
0+阅读 · 2022年3月16日
正则化方法小结
极市平台
2+阅读 · 2021年11月24日
一文搞懂反向传播
机器学习与推荐算法
18+阅读 · 2020年3月12日
支持个性化学习的行为大数据可视化研究
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
动态可视化指南:一步步拆解LSTM和GRU
论智
16+阅读 · 2018年10月25日
PyTorch:60分钟入门学习
全球人工智能
13+阅读 · 2018年5月18日
基础 | GRU神经网络
黑龙江大学自然语言处理实验室
27+阅读 · 2018年3月5日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员