序列模型
定义：
image.png
类型：语音识别、情感分类、机器翻译
image.png
image.png
image.png
为什么序列模型使用CNN效果不好：
image.png
循环神经网络
定义：
image.png
类型：
image.png
基础循环网络
image.png
image.png
image.png
词的表示
为了让网络理解我们的输入，需要用词进行向量表示
image.png
image.png
image.png
image.png
矩阵运算表示
image.png
交叉熵损失
image.png
时序反向传播算法（BPTT）
image.png
image.png
image.png
梯度消失、梯度爆炸
image.png
RNN总结
image.png
image.png
案例
流程：
image.png
image.png
单个cell的前向传播：
image.png
image.png
所有cell的前向传播
image.png
image.png
image.png
image.png
单个cell的反向传播
image.png
image.png
所有cell的反向传播（p86）
RNN的结构改进
GRU（门控循环单元）
image.png
本质问题解决：
image.png
LSTM（长短记忆网络）
image.png
作用是便于记忆更长距离的时间状态
