神经网络的正向&&反向传播

通过正向传播后得到的误差来进行反向传播，反向传播时通过求导的方式更新权值，获得误差更小的权重参数。

• 具体讲解见：

http://www.cnblogs.com/charlotte77/p/5629865.html

神经网络的代价函数

屏幕快照 2018-02-05 下午1.44.13.png

神经网络代价函数

相比逻辑回归的代价函数，这里增加了一个关于K的累加，K代表的是分类的数量。下标K的意思就是计算第k个分类的意思。

也就是说，我们需要求得的参数，应该对每一个分类计算代价函数，并使得加总(其实应该是乘总，不过在使用了最大似然函数来方便求解后，变为了加总，具体参考逻辑回归 )之后的结果最小