会员服务
在人工神经网络中，给定一个输入或一组输入，节点的激活函数定义该节点的输出。一个标准集成电路可以看作是一个由激活函数组成的数字网络，根据输入的不同，激活函数可以是开(1)或关(0)。这类似于神经网络中的线性感知器的行为。然而，只有非线性激活函数允许这样的网络只使用少量的节点来计算重要问题，并且这样的激活函数被称为非线性。
APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning
Arxiv
0+阅读 · 3月29日
The Mathematical Relationship Between Layer Normalization and Dynamic Activation Functions
The Mathematical Relationship Between Layer Normalization and Dynamic Activation Functions
Arxiv
0+阅读 · 3月31日
Activation Functions Considered Harmful: Recovering Neural Network Weights through Controlled Channels
Arxiv
0+阅读 · 3月24日
Task-Specific Activation Functions for Neuroevolution using Grammatical Evolution
Arxiv
0+阅读 · 3月26日
Task-Specific Activation Functions for Neuroevolution using Grammatical Evolution
Arxiv
0+阅读 · 3月13日
KunlunBaize: LLM with Multi-Scale Convolution and Multi-Token Prediction Under TransformerX Framework
Arxiv
0+阅读 · 3月20日
KunlunBaize: LLM with Multi-Scale Convolution and Multi-Token Prediction Under TransformerX Framework
Arxiv
0+阅读 · 3月11日
Frequency and Generalisation of Periodic Activation Functions in Reinforcement Learning
Arxiv
0+阅读 · 3月18日
Hysteresis Activation Function for Efficient Inference
Arxiv
0+阅读 · 3月11日
Sparsing Law: Towards Large Language Models with Greater Activation Sparsity
Arxiv
0+阅读 · 2月26日
On the Convergence of No-Regret Dynamics in Information Retrieval Games with Proportional Ranking Functions
Arxiv
0+阅读 · 1月29日
Quantum-tunnelling deep neural network for optical illusion recognition
Arxiv
0+阅读 · 2月22日
Deriving Activation Functions Using Integration
Arxiv
0+阅读 · 1月31日
LayerAct: Advanced Activation Mechanism for Robust Inference of CNNs
Arxiv
0+阅读 · 2月18日
Cauchy activation function and XNet
Arxiv
0+阅读 · 1月28日
参考链接
父主题
深度学习
神经网络
微信扫码咨询专知VIP会员
Top