标签:
课程链接:http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/
这一节前半部分介绍了神经网络模型及前向传导,定义了很多的变量,这些变量到底代表了什么一定要搞懂,否则后半部分的推导就看不懂了。
后半部分前的是BP,具体参考这篇博客http://blog.csdn.net/itplus/article/details/11022243,总结加注释,写的非常非常好
其实整个过程就是,用梯度下降法来求得最优的w和b,但我们只知道最后一个输出,那么隐含的各层的梯度该如何求呢?这就要用到BP了。
然后是作业部分。里面用到几个函数,简单分析下(主要是好多我没看懂)。
stack = params2stack(params, ei)将一个flattened parameter vector(不明白那个扁平是什么意思)转为a nice "stack" structure,
ei是auxiliary variable containing the configuration of the network
函数首先得到网络的深度depth,并初始化一个这么大的cell(stack),取得前一层的大小(单元个数?)prev_size,并定义了一个表示参数向量位置的向量。
接下来是一个循环。目的是取得所有层的权值与偏差。最后返回的stack包括每层的权值和偏差。
未完待续。。。。
标签:
原文地址:http://www.cnblogs.com/573177885qq/p/4820541.html