会员服务
在人工神经网络中，给定一个输入或一组输入，节点的激活函数定义该节点的输出。一个标准集成电路可以看作是一个由激活函数组成的数字网络，根据输入的不同，激活函数可以是开(1)或关(0)。这类似于神经网络中的线性感知器的行为。然而，只有非线性激活函数允许这样的网络只使用少量的节点来计算重要问题，并且这样的激活函数被称为非线性。
Beyond Lipschitz Continuity and Monotonicity: Fractal and Chaotic Activation Functions in Echo State Networks
Arxiv
0+阅读 · 12月16日
Provable Benefits of Sinusoidal Activation for Modular Addition
Arxiv
0+阅读 · 11月28日
Learning Fluid-Structure Interaction with Physics-Informed Machine Learning and Immersed Boundary Methods
Arxiv
0+阅读 · 12月3日
Similarity-Distance-Magnitude Activations
Arxiv
0+阅读 · 12月3日
APALU: A Trainable, Adaptive Activation Function for Deep Learning Networks
Arxiv
0+阅读 · 11月2日
Lipschitz-aware Linearity Grafting for Certified Robustness
Arxiv
0+阅读 · 12月14日
On the failure of ReLU activation for physics-informed machine learning
Arxiv
0+阅读 · 12月15日
What Can One Expect When Solving PDEs Using Shallow Neural Networks?
Arxiv
0+阅读 · 11月3日
Adaptive Parametric Activation: Unifying and Generalising Activation Functions Across Tasks
Arxiv
0+阅读 · 11月14日
Hysteresis Activation Function for Efficient Inference
Arxiv
0+阅读 · 10月30日
Similarity-Distance-Magnitude Activations
Arxiv
0+阅读 · 10月30日
Neural networks for neurocomputing circuits: a computational study of tolerance to noise and activation function non-uniformity when machine learning materials properties
Arxiv
0+阅读 · 10月13日
Controlling the image generation process with parametric activation functions
Controlling the image generation process with parametric activation functions
Arxiv
0+阅读 · 10月17日
On the Mathematical Relationship Between Layer Normalization and Dynamic Activation Functions
Arxiv
0+阅读 · 10月13日
Critical Points of Random Neural Networks
Arxiv
0+阅读 · 10月6日
参考链接
微信扫码咨询专知VIP会员
Top