神经网络 误差逆传播算法推导 BP算法

??误差逆传播算法是迄今最成功的神经网络学习算法，现实任务中使用神经网络时，大多使用BP算法进行训练。
??给定训练集\(D={(x_1,y_1),(x_2,y_2),......(x_m,y_m)},x_i \in R^d,y_i \in R^l\),即输入示例由\(d\)个属性描述，输出\(l\)个结果。如图所示，是一个典型的单隐层前馈网络，它拥有\(d\)个输入神经元、\(l\)个输出神经元、\(q\)个隐层神经元，其中，\(\theta_j\)表示第\(j\)个神经元的阈值，\(\gamma_h\)表示隐层第\(h\)个神经元的阈值，输入层第\(i\)个神经元与隐层第\(h\)个神经元连接的权值是\(v_{ih}\)，隐层第\(h\)个神经元与输出层第\(j\)个神经元连接的权值是\(w_{hj}\)。
??于是，按照神经网络的传输法则，隐层第\(h\)个神经元接收到的输入\(\alpha_h=\sum_{i=1}^dv_{ih}x_i\)，输出\(b_h=f(\alpha_h-\gamma_h)\)，输出层\(j\)第个神经元的输入\(\beta_j=\sum_{h=1}^qw_{hj}b_h\)，输出\(\widehat{y}_j^k=f(\beta_j-\theta_j)\)，其中函数是“激活函数”，\(\gamma_h\)和\(\theta_j\)分别是隐藏层和输出层的阈值，选择Sigmoid函数\(f(x)=\frac{1}{1+e^{-x}}\)作为激活函数。
??对训练样例\((x_k,y_k)\)，通过神经网络后的输出是\(\widehat{y}_k=(\widehat{y}_1^k,\widehat{y}_2^k,......,\widehat{y}_l^k)\)，则其均方误差为\[E_k=\frac{1}{2}\sum_{j=1}^{l}(\widehat{y}_j^k-y_j^k)^2\tag{1}\]
为了使输出的均方误差最小，我们以均方误差对权值的负梯度方向进行调整，给定学习率\(\eta\)，\[\Delta w_{ij}=-\eta\frac{\partial E_k}{\partial w_{ij}}\tag{2}\]这里为什么是取负梯度方向呢？因为我们是要是均方误差最小，而\(w\)的更新估计式为\[w=w+\Delta w\tag{3}\]如果，\(\frac{\partial E_k}{\partial w_{ij}}>0\)，则表明减小\(w\)才能减小均方误差，所以\(\Delta w\)应该小于零，反之，如果\(\frac{\partial E_k}{\partial w_{ij}}<0\),则表明增大\(w\)的值可以减小均方误差，所以所以\(\Delta w\)应该大于零，所以在这里取负的偏导，以保证权值的改变是朝着减小均方误差的方向进行。
??在这个神经网络中，\(E_k\)是有关\(\widehat{y}_j^k\)的函数，\(\widehat{y}_j^k\)是有关\(\beta_j\)的函数，而\(\beta_j\)是有关\(w_{ij}\)的函数，所以有\[\frac{\partial E_k}{\partial w_{ij}}=\frac{\partial E_k}{\partial \widehat{y}_j^k}.\frac{\partial \widehat{y}_j^k}{\partial \beta_j}. \frac{\partial \beta_j}{\partial w_{ij}}\tag{4}\]显然，\[\frac{\partial \beta_j}{\partial w_{ij}}=b_h\tag{5}\]
而对Sigmoid函数有\[f‘(x)=f(x)(1-f(x))\tag{6}\]所以\[ \begin{aligned}g_j&=-\frac{\partial E_k}{\partial \widehat{y}_j^k}\cdot\frac{\partial \widehat{y}_j^k}{\partial \beta_j}\&=-(\widehat{y}^k_j-y^k_j)f(\beta_j-\theta_j)\&=-(\widehat{y}^k_j-y^k_j)f(\beta_j-\theta_j)(1-f(\beta_j-\theta_j))\&=-(\widehat{y}^k_j-y^k_j)\widehat{y}^k_j(1-\widehat{y}^k_j)\tag{7} \end{aligned} \]