标签：for val 法则 算法 误差 完成 依据 隐藏 ack
训练误差指模型在训练数据集上表现出的误差
泛化误差指模型在任意?个测试数据样本上表现出的误差的期望
我们的注意力应集中于降低泛化误差，使模型具有更好的普适性。
预留?部分在训练数据集和测试数据集以外的数据来进?模型选择。这部分数据被称为验证数据集，简称验证集。
我们把原始训练数据集分割成K个不重合的?数据集，然后我们做K次模型训练和验证。每?次，我们使??个?数据集验证模型，并使?其他\(K-1\)个?数据集来训练模型。在这\(K\)次训练和验证中，每次?来验证模型的?数据集都不同。最后，我们对这\(K\)次训练误差和验证误差分别求平均。
欠拟合（underfitting）：模型?法得到较低的训练误差
过拟合（overfitting）：模型的训练误差远小于它在测试数据集上的误差
模型复杂度过低，容易出现欠拟合；复杂的过高，容易出现过拟合。我们需要进行模型的选择以均衡训练误差和泛化误差。
训练集中数据量不足容易引起过拟合，而泛化误差与训练集数据量大小无关，所以应尽可能扩大训练集样本量，尤其是在模型复杂度较高的情况下。
\(L_2\)范数正则化，即统计学习中的岭回归。以线性回归为例，权重衰减将原来的损失函数\(\ell\left(w_{1}, w_{2}, b\right)=\frac{1}{n} \sum_{i=1}^{n} \frac{1}{2}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)^{2}\)，通过增加超参数\(\lambda\)， 变为\(\ell\left(w_{1}, w_{2}, b\right)+\frac{\lambda}{2 n}\|w\|^{2}\)，增加了一个具有\(L_2\)范数惩罚项的新损失函数。\(\|w\|^{2}=w_1^2+w_2^2\)
权重原有的迭代方式变为了
\(w_{1} \leftarrow\left(1-\frac{\eta \lambda}{|\mathcal{B}|}\right) w_{1}-\frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} x_{1}^{(i)}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)\)
\(w_{2} \leftarrow\left(1-\frac{\eta \lambda}{|\mathcal{B}|}\right) w_{2}-\frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{R}} x_{2}^{(i)}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)\)
可以理解为权重乘以一个小于1的数，再减去不含惩罚性的梯度。通过惩罚绝对值较大的模型参数为模型的学习增加限制，能够在一定程度上抑制过拟合。
针对于多层感知机中的隐藏层进行“丢弃”。隐藏层中的每一个单元都有概率\(p\)被丢弃，同时有概率\(1-p\)对其进行拉伸。丢弃概率\(p\)为丢弃法超参数。
\(h_{i}^{\prime}=\frac{\xi_{i}}{1-p} h_{i}\)
\(h_i\)为某一个单元，进行丢弃之后得到的新的隐藏单元为\(h_i^{\prime}\) 。\(\xi_{i}\)为一随机变量，\(\xi_{i}=0，1\)的概率分别为\(p\), \(1-p\)。可计算得出\(E(\xi_{i})=1-p\)
\(E\left(h_{i}^{\prime}\right)=\frac{E\left(\xi_{i}\right)}{1-p} h_{i}=h_{i}\)
由上式可得丢弃并不会改变隐藏单元的期望值。但每个隐藏单元都有可能被丢弃，因此在训练模型的过程中不会过度依赖任何一个单元，从而起到正则化的作用。
正向传播是指对神经.络沿着从输.层到输出层的顺序，依次计算并存储模型的中间变量
下图为正向传播的计算图(computational graph)，方形为变量，圆形为运算，箭头表示输入到输出之间的关系
他们之间的关系为：
\(z=W^{(1)}x\)
\(h=\phi(z)\)
\(o=W^{(2)}h\)
\(L=\ell(o,y)\)
\(s=\frac{\lambda}{2}\left(\left\|\boldsymbol{W}^{(1)}\right\|_{F}^{2}+\left\|\boldsymbol{W}^{(2)}\right\|_{F}^{2}\right)\)
\(J=L+s\)
反向传播指的是计算神经?络参数梯度的?法。总的来说，反向传播依据微积分中的链式法则，沿着从输出层到输?层的顺序，依次计算并存储?标函数有关神经?络各层的中间变量以及参数的梯度。
依据链式法则计算反向梯度依次为：
\(\frac{\partial J}{\partial L}=1, \quad \frac{\partial J}{\partial s}=1\)
\(\frac{\partial J}{\partial o}=\operatorname{prod}\left(\frac{\partial J}{\partial L}, \frac{\partial L}{\partial o}\right)=\frac{\partial L}{\partial o}\)
\(\frac{\partial s}{\partial W^{(1)}}=\lambda W^{(1)}, \quad \frac{\partial s}{\partial W^{(2)}}=\lambda W^{(2)}\)
\(\frac{\partial J}{\partial W^{(2)}}=\operatorname{prod}\left(\frac{\partial J}{\partial o}, \frac{\partial o}{\partial W^{(2)}}\right)+\operatorname{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial W^{(2)}}\right)=\frac{\partial J}{\partial o} h^{\top}+\lambda W^{(2)}\)
\(\frac{\partial J}{\partial h}=\operatorname{prod}\left(\frac{\partial J}{\partial o}, \frac{\partial o}{\partial h}\right)=W^{(2)^{T}}\frac{\partial J}{\partial o}\)
\(\frac{\partial J}{\partial z}=\operatorname{prod}\left(\frac{\partial J}{\partial h}, \frac{\partial h}{\partial z}\right)=\frac{\partial J}{\partial h} \odot \phi^{\prime}(z)\)
\(\frac{\partial J}{\partial W^{(1)}}=\operatorname{prod}\left(\frac{\partial J}{\partial z}, \frac{\partial z}{\partial W^{(1)}}\right)+\operatorname{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial W^{(1)}}\right)=\frac{\partial J}{\partial z} x^{\top}+\lambda W^{(1)}\)
???，正向传播的计算可能依赖于模型参数的当前值，而这些模型参数是在反向传播的梯度计算后通过优化算法迭代的。
另???，反向传播的梯度计算可能依赖于各变量的当前值，而这些变量的当前值是通过正向传播计算得到的。
在模型参数初始化完成后，我们交替地进.正向传播和反向传播，并根据反向传播计算的梯度迭代模型参。
深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion）。
举例：多层感知机，如果有30层，每层都有两个权重分别为0.2和5，第30层输出为输?\(X\)分别与\(0.2^{30} \approx 1\times 10^{-21}\)（衰减）和\(5^{30}\approx 9 \times 10^{20}\)（爆炸）的乘积。
多层感知机若输入相同的权重，在每一个单元中会得到相同的值，使得多层感知机设置的多个隐藏单元失去意义，所以要在训练前设置随机初始值。
权重服从-0.07~0.07之间的均匀分布，偏差参数全部清零。
记全连接层输入个数为\(a\), 输出个数\(b\)，Xavier随机初始化将使该层中权重参数的每个元素都随机采样于均匀分布：
\(U(-\sqrt{\frac{6}{a+b}}, \sqrt{\frac{6}{a+b}})\)
标签：for val 法则 算法 误差 完成 依据 隐藏 ack
原文地址：https://www.cnblogs.com/amber-cui/p/12332883.html
