image.png
优化的问题：梯度消失、局部最优
梯度消失、梯度爆炸
image.png
局部最优：
image.png
image.png
梯度下降
image.png
image.png
image.png
梯度下降的优化影响
image.png
image.png
image.png
大小选择
image.png
指数加权平均（梯度下降算法本身的优化）
image.png
image.png
image.png
image.png
image.png
image.png
权重越大，曲线越平滑，权重越小，曲线越曲折
image.png
动量梯度下降法
image.png
这样的梯度下降有什么变化：
image.png
image.png
RMSProp算法
image.png
image.png
Adam算法
image.png
image.png
image.png
image.png
image.png
tensorflow Adam算法API
image.png
学习率衰减
image.png
标准化输入
image.png
image.png
image.png
image.png
image.png
代码练习
动量梯度下降
image.png
公式中的s在代码中定义成了v
image.png
更新Adam算法网络的参数
image.png
image.png
image.png
image.png
image.png
