会员服务
在人工神经网络中，给定一个输入或一组输入，节点的激活函数定义该节点的输出。一个标准集成电路可以看作是一个由激活函数组成的数字网络，根据输入的不同，激活函数可以是开(1)或关(0)。这类似于神经网络中的线性感知器的行为。然而，只有非线性激活函数允许这样的网络只使用少量的节点来计算重要问题，并且这样的激活函数被称为非线性。
Semiring Activation in Neural Networks
Arxiv
0+阅读 · 1月3日
Fractional Concepts in Neural Networks: Enhancing Activation Functions
Arxiv
0+阅读 · 1月10日
TeLU Activation Function for Fast and Stable Deep Learning
Arxiv
0+阅读 · 1月2日
ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
Arxiv
0+阅读 · 1月7日
The unbearable lightness of Restricted Boltzmann Machines: Theoretical Insights and Biological Applications
Arxiv
0+阅读 · 1月8日
DiffFormer: a Differential Spatial-Spectral Transformer for Hyperspectral Image Classification
Arxiv
1+阅读 · 2024年12月23日
ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
Arxiv
1+阅读 · 2024年12月23日
LayerAct: Advanced Activation Mechanism for Robust Inference of CNNs
Arxiv
1+阅读 · 2024年12月20日
MetaSymNet: A Tree-like Symbol Network with Adaptive Architecture and Activation Functions
Arxiv
1+阅读 · 2024年12月19日
Semi-Periodic Activation for Time Series Classification
Arxiv
1+阅读 · 2024年12月13日
ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
Arxiv
1+阅读 · 2024年12月12日
Generalization Bounds and Model Complexity for Kolmogorov-Arnold Networks
Arxiv
0+阅读 · 2024年12月4日
Deep Learning 2.0: Artificial Neurons That Matter -- Reject Correlation, Embrace Orthogonality
Deep Learning 2.0: Artificial Neurons That Matter -- Reject Correlation, Embrace Orthogonality
Arxiv
0+阅读 · 2024年12月2日
Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions
Arxiv
0+阅读 · 2024年11月29日
KANs for Computer Vision: An Experimental Study
Arxiv
0+阅读 · 2024年11月28日
参考链接
父主题
深度学习
神经网络
微信扫码咨询专知VIP会员
Top