Neural networks are popular and useful in many fields, but they have the problem of giving high confidence responses for examples that are away from the training data. This makes the neural networks very confident in their prediction while making gross mistakes, thus limiting their reliability for safety-critical applications such as autonomous driving, space exploration, etc. This paper introduces a novel neuron generalization that has the standard dot-product-based neuron and the {\color{black} radial basis function (RBF)} neuron as two extreme cases of a shape parameter. Using a rectified linear unit (ReLU) as the activation function results in a novel neuron that has compact support, which means its output is zero outside a bounded domain. To address the difficulties in training the proposed neural network, it introduces a novel training method that takes a pretrained standard neural network that is fine-tuned while gradually increasing the shape parameter to the desired value. The theoretical findings of the paper are a bound on the gradient of the proposed neuron and a proof that a neural network with such neurons has the universal approximation property. This means that the network can approximate any continuous and integrable function with an arbitrary degree of accuracy. The experimental findings on standard benchmark datasets show that the proposed approach has smaller test errors than state-of-the-art competing methods and outperforms the competing methods in detecting out-of-distribution samples on two out of three datasets.


翻译:在许多领域,神经网络是受欢迎的,在许多领域是有用的,但是它们有对远离培训数据的例子给予高度信任的回答的问题。这使得神经网络在做出重大错误时,对预测非常有信心,从而限制其安全关键应用的可靠性,例如自主驱动、空间探索等。本文引入了一种新的神经神经常规化,它具有标准的点产品神经元和色{黑}弧基参数功能(RBF),作为两个极极端的形状参数。使用一个纠正的线性单元(RELU)作为激活功能的结果,在具有紧凑支持的新神经元中产生,这意味着其输出在封闭域之外为零。为了解决在培训拟议的神经网络方面遇到的困难,它引入了一种新颖的培训方法,该方法采用预先训练的标准神经网络,该神经神经神经元和色素参数逐渐提升到理想值。文件的理论结论与拟议的神经神经元参数的梯度有关,并证明神经元神经元神经元神经元神经元神经元神经元神经元神经元神经元神经元神经元的神经元网络具有普遍近值。这意味着网络可以近似性的新神经神经神经神经神经神经神经神经神经神经神经神经元的神经神经神经神经神经元的神经神经神经元的神经神经神经神经元的神经神经元的神经神经神经神经神经神经元的神经元的神经神经神经神经元的神经元的神经神经神经神经神经神经神经元的神经神经神经神经神经神经元的神经神经元的神经元的神经神经神经神经神经元的神经神经元的神经神经神经神经元的神经神经神经神经神经神经元的神经元的神经元的神经神经神经神经神经神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经神经神经神经元的神经元的神经元的神经元的神经神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的神经元的

0
下载
关闭预览

相关内容

神经网络(Neural Networks)是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛,以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交,有助于全面的神经网络研究,从行为和大脑建模,学习算法,通过数学和计算分析,系统的工程和技术应用,大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流,并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此,神经网络编委会代表的专家领域包括心理学,神经生物学,计算机科学,工程,数学,物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学,神经科学,学习系统,数学和计算分析、工程和应用。 官网地址:http://dblp.uni-trier.de/db/journals/nn/
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
2020图机器学习GNN的四大研究趋势,21篇论文下载
专知会员服务
135+阅读 · 2020年2月10日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
已删除
将门创投
6+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
10+阅读 · 2018年12月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年2月8日
Hyperbolic Graph Attention Network
Arxiv
6+阅读 · 2019年12月6日
Arxiv
6+阅读 · 2019年4月8日
Arxiv
3+阅读 · 2018年8月17日
VIP会员
相关VIP内容
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
2020图机器学习GNN的四大研究趋势,21篇论文下载
专知会员服务
135+阅读 · 2020年2月10日
相关资讯
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
已删除
将门创投
6+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
10+阅读 · 2018年12月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员