The training process of neural networks usually optimize weights and bias parameters of linear transformations, while nonlinear activation functions are pre-specified and fixed. This work develops a systematic approach to constructing matrix activation functions whose entries are generalized from ReLU. The activation is based on matrix-vector multiplications using only scalar multiplications and comparisons. The proposed activation functions depend on parameters that are trained along with the weights and bias vectors. Neural networks based on this approach are simple and efficient and are shown to be robust in numerical experiments.


翻译:神经网络的培训过程通常优化线性变换的重量和偏差参数,而非线性激活功能则是预先指定和固定的。这项工作为构建矩阵激活功能制定了系统的方法,这些功能的条目从ReLU得到普遍化。激活基于矩阵-矢量乘法,仅使用尺度乘法和比较。拟议的激活功能取决于经过培训的参数以及重量和偏向矢量。基于这一方法的神经网络简单而有效,在数字实验中显示是稳健的。

0
下载
关闭预览

相关内容

在人工神经网络中,给定一个输入或一组输入,节点的激活函数定义该节点的输出。一个标准集成电路可以看作是一个由激活函数组成的数字网络,根据输入的不同,激活函数可以是开(1)或关(0)。这类似于神经网络中的线性感知器的行为。然而,只有非线性激活函数允许这样的网络只使用少量的节点来计算重要问题,并且这样的激活函数被称为非线性。
【硬核书】矩阵代数基础,248页pdf
专知会员服务
84+阅读 · 2021年12月9日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
74+阅读 · 2020年4月24日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
已删除
将门创投
5+阅读 · 2017年10月20日
Arxiv
0+阅读 · 2021年12月7日
Arxiv
0+阅读 · 2021年12月5日
Arxiv
3+阅读 · 2018年8月17日
VIP会员
相关资讯
已删除
将门创投
5+阅读 · 2017年10月20日
Top
微信扫码咨询专知VIP会员