举一个例子,来推到一些神经网络反向传播的流程。(bp算法)
正向传播的过程:
最终的损失为:
我们希望cost是越小越好。所以,反向传播就是干这个事情,通过链式求导的方法,让cost下降。
我们可以简单的把cost看作是一个与w13,w14,w23,w24有关的函数。也就是反向传播的目的是求:
然后就是反向传播啦:
反向传播的的目的就是更新w35,w45,w23,w24,w13,w14。
如下所示:
计算过程如下:
更新过程:
参考教程:
如何直观地解释 back propagation 算法? - 忆臻的回答 - 知乎
https://www.zhihu.com/question/27239198/answer/140093887
http://www.cnblogs.com/charlotte77/p/5629865.html