大规模神经网络展现出强大的端到端表示能力和非线性函数的无限逼近能力,在多个领域表现出优异的性能,成为一个重要的发展方向.如自然语言处理(NLP)模型GPT,经过几年的发展,目前拥有1750亿网络参数,在多个NLP基准上到达最先进性能.然而,按照现有的神经网络组织方式,目前的大规模神经网络难以到达人脑生物神经网络连接的规模.同时,现有大规模神经网络在多通道协同处理、知识存储和迁移、持续学习方面表现不佳.本文提出构建一种启发于人脑功能机制的大规模神经网络模型.该模型以脑区划分和脑区功能机制为启发,集成大量现有数据和预训练模型,借鉴脑功能分区来模块化构建大规模神经网络模型,并由脑功能机制提出相应的学习算法,根据场景输入和目标,自动构建神经网络通路,设计神经网络模型来获得输出.该神经网络模型关注输入到输出空间的关系构建,通过不断学习提升模型的关系映射能力,目标在于让该模型具备多通道协同处理能力,实现知识存储和持续学习,向通用人工智能迈进.整个模型和所有数据、类脑功能区使用数据库系统进行管理,该系统了还集成了分布式神经网络训练算法,为实现超大规模神经网络的高效训练提供支撑.论文提出了一种迈向通用人工智能的思路,并在多个不同模态任务验证该模型的可行性.

http://www.jos.org.cn/jos/article/abstract/6470

成为VIP会员查看完整内容
32
0

相关内容

深度神经网络 FPGA 设计进展、实现与展望
专知会员服务
33+阅读 · 3月26日
深度神经网络FPGA设计进展、实现与展望
专知会员服务
22+阅读 · 3月21日
图神经网络前沿进展与应用
专知会员服务
62+阅读 · 1月24日
专知会员服务
101+阅读 · 2021年3月30日
专知会员服务
48+阅读 · 2021年3月21日
专知会员服务
31+阅读 · 2021年3月3日
专知会员服务
46+阅读 · 2021年2月12日
卷积神经网络模型发展及应用(中文版),20页pdf
专知会员服务
73+阅读 · 2021年1月15日
【BAAI|2019】类脑神经网络技术及其应用,鲁华祥(附pdf)
专知会员服务
26+阅读 · 2019年11月21日
首个视觉-语言预训练综述来了!
夕小瑶的卖萌屋
0+阅读 · 3月29日
神经网络,凉了?
CVer
0+阅读 · 3月16日
文澜:超大规模多模态预训练模型!
专知
5+阅读 · 2021年3月21日
硬件加速神经网络综述
计算机研究与发展
18+阅读 · 2019年2月1日
一文读懂神经网络(附PPT、视频)
数据派THU
12+阅读 · 2018年3月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
16+阅读 · 2018年10月24日
Arxiv
11+阅读 · 2018年4月8日
小贴士
相关VIP内容
深度神经网络 FPGA 设计进展、实现与展望
专知会员服务
33+阅读 · 3月26日
深度神经网络FPGA设计进展、实现与展望
专知会员服务
22+阅读 · 3月21日
图神经网络前沿进展与应用
专知会员服务
62+阅读 · 1月24日
专知会员服务
101+阅读 · 2021年3月30日
专知会员服务
48+阅读 · 2021年3月21日
专知会员服务
31+阅读 · 2021年3月3日
专知会员服务
46+阅读 · 2021年2月12日
卷积神经网络模型发展及应用(中文版),20页pdf
专知会员服务
73+阅读 · 2021年1月15日
【BAAI|2019】类脑神经网络技术及其应用,鲁华祥(附pdf)
专知会员服务
26+阅读 · 2019年11月21日
相关资讯
首个视觉-语言预训练综述来了!
夕小瑶的卖萌屋
0+阅读 · 3月29日
神经网络,凉了?
CVer
0+阅读 · 3月16日
文澜:超大规模多模态预训练模型!
专知
5+阅读 · 2021年3月21日
硬件加速神经网络综述
计算机研究与发展
18+阅读 · 2019年2月1日
一文读懂神经网络(附PPT、视频)
数据派THU
12+阅读 · 2018年3月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员