手把手教你训练RNN | Part I

2018 年 7 月 3 日 数盟

RNN 前向传播逐步演练

单个 RNN Cell 中的前向传播算法

在之前的文章中,我们介绍了RNN 的基本结构并将其按时间序列展开成 Cells 循环链,称为 RNN cells。下面,我们将揭示单个 RNN Cell 的内部结构和前向传播计算过程。

将其过程分解成多个步骤:

第一步:cell 接受两个输入:x⟨t⟩ 和 a⟨t-1⟩。

第二步:接下来,计算矩阵乘积 ⨂,W_xh 乘 x⟨t⟩,W_ah 乘 a⟨t-1⟩。然后,通过将以上两项乘积相加,并加上偏置 b_h,计算得出 h⟨t⟩。

第三步:紧接着上面的步骤,将 h(t) 传给激活函数(比如 tanh 或 relu)计算 a(t)。本例中激活函数使用 tanh 函数。

第四步: cell 输出 a⟨t⟩ 并将其传给下一 cell 做进一步计算。

第五步:然后,计算 o⟨t⟩; 这是所有输出可能取值的非标准化对数概率。方法是计算矩阵乘积⨂,W_ao 乘 a⟨t⟩,并与 b_o 相加。

第六步:最后,通过将 o⟨t⟩ 传输给激活函数(例如 sigmoid 或 softmax),得到了一个实际输出的标准化概率向量 ŷ⟨t⟩。输出的激活函数的选择通常取决于期望的输出类型(sigmoid 用于二元输出,softmax 用于多类别输出)。

前向传播算法

前向传播算法在整个 RNN 网络中运行以上步骤,而不仅仅在单个 RNN cell 中运行。从隐藏层状态 a⟨0⟩的初始化开始,在所有时间序列 t = 1 to T 中共享权值和偏置向量 W_xh,W_ah, W_ao, b_h, b_o,在每个时间序列中重复上面的每一步。

例如,如果我们拥有一个 8 个序列的输入 x⟨1⟩,x⟨2⟩,……x⟨8⟩,这个网络的前向传播计算过程是步骤 1-6 在循环中重复 8 次。

上面是训练RNN的第一步,在这篇文章的第二部分将介绍后向传播算法(BPTT),以及如何推导梯度。

博客原址:

https://medium.com/learn-love-ai/step-by-step-walkthrough-of-rnn-training-part-i-7aee5672dea3

识别下图二维码,加“数盟社区”为好友,回复暗号“入群”,加入数盟社区交流群,群内持续有干货分享~~

本周干货内容:新一代人工智能「产业推动的核心理论」

媒体合作请联系:

邮箱:xiangxiaoqing@stormorai.com




登录查看更多
0

相关内容

RNN:循环神经网络,是深度学习的一种模型。
【ICML2020-华为港科大】RNN和LSTM有长期记忆吗?
专知会员服务
78+阅读 · 2020年6月25日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
173+阅读 · 2020年5月6日
机器学习速查手册,135页pdf
专知会员服务
342+阅读 · 2020年3月15日
专知会员服务
45+阅读 · 2020年3月6日
Transformer文本分类代码
专知会员服务
118+阅读 · 2020年2月3日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
78+阅读 · 2020年2月3日
干货 | 循环神经网络(RNN)和LSTM初学者指南
THU数据派
15+阅读 · 2019年1月25日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
干货 | 受限玻尔兹曼机基础教程
机器学习算法与Python学习
7+阅读 · 2018年3月27日
如何用 RNN 实现语音识别?| 分享总结
AI研习社
3+阅读 · 2017年12月15日
深度学习入门篇--手把手教你用 TensorFlow 训练模型
全球人工智能
4+阅读 · 2017年10月21日
干货|完全图解RNN、RNN变体、Seq2Seq、Attention机制
机器学习研究会
12+阅读 · 2017年8月5日
RNN | RNN实践指南(3)
KingsGarden
7+阅读 · 2017年6月5日
RNN | RNN实践指南(1)
KingsGarden
21+阅读 · 2017年4月4日
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Symbolic Priors for RNN-based Semantic Parsing
Arxiv
3+阅读 · 2018年9月20日
Arxiv
5+阅读 · 2018年4月22日
VIP会员
相关VIP内容
【ICML2020-华为港科大】RNN和LSTM有长期记忆吗?
专知会员服务
78+阅读 · 2020年6月25日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
173+阅读 · 2020年5月6日
机器学习速查手册,135页pdf
专知会员服务
342+阅读 · 2020年3月15日
专知会员服务
45+阅读 · 2020年3月6日
Transformer文本分类代码
专知会员服务
118+阅读 · 2020年2月3日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
78+阅读 · 2020年2月3日
相关资讯
干货 | 循环神经网络(RNN)和LSTM初学者指南
THU数据派
15+阅读 · 2019年1月25日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
干货 | 受限玻尔兹曼机基础教程
机器学习算法与Python学习
7+阅读 · 2018年3月27日
如何用 RNN 实现语音识别?| 分享总结
AI研习社
3+阅读 · 2017年12月15日
深度学习入门篇--手把手教你用 TensorFlow 训练模型
全球人工智能
4+阅读 · 2017年10月21日
干货|完全图解RNN、RNN变体、Seq2Seq、Attention机制
机器学习研究会
12+阅读 · 2017年8月5日
RNN | RNN实践指南(3)
KingsGarden
7+阅读 · 2017年6月5日
RNN | RNN实践指南(1)
KingsGarden
21+阅读 · 2017年4月4日
Top
微信扫码咨询专知VIP会员