043、循环神经网络

之——RNN基础

杂谈

        第一个对于序列模型的网络，RNN。

---

正文

1.潜变量自回归模型

        潜变量总结过去的信息，再和当前信息一起结合出新的信息。

---

2.RNN

        循环神经网络将观察作为x，与前层隐变量结合得到输出

       其中Whh蕴含了整个模型的时序信息，Whx表征了对新的观察的方式。

        它的学习的过程就是在观察当前字的时候要去以生成下一个字为目的地学习：

---

3.衡量语言模型

        

---

4.梯度裁剪

        

        如果梯度超过阈值，就把梯度拖回阈值：

 

---

5.RNN更多应用