偏差-方差分解

标签：htm   期望值   模型   math   一个   数据   回归   ali   mat   

1、
偏差-方差分解是解释学习算法泛化性能的一种重要工具，试图对学习算法的期望泛化误差率(generalization error)进行分解。可以分解为三部分，偏差(bias)、方差(variance)和噪声(noise)。其中，
偏差：度量了模型的期望值和真实结果的偏离程度，刻画了模型本身的拟合能力
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所产生的影响。
噪声：表达了当前任务上任何学习算法所能达到的期望防滑误差的下界，刻画了学习问题本身的难度。

2、
泛化误差：以回归任务为例，学习算法的平方预测误差期望为：
\[Err(x) = E[(y-f(x;D))^2]\]
方差：在一个训练集\(D\)上模型\(f\)对测试样本\(x\)的预测输出为\(f(x;D)\)，那么学习算法\(f\)对测试样本\(x\)的期望预测为:\[\overline{f}(x) = E_D[f(x;D)]\]
上面的期望预测也就是针对不同数据集\(D，f\)对\(x\)的预测值取其期望，也被叫做average predicted。
使用样本数相同的不同训练集产生的方差为：
\[var(x)=E_D[f(x;D)-\overline{f}(x))^w]\]
噪声：噪声为真实标记与数据集中的实际标记间的偏差
\[ \varepsilon = E_D[(y_D-y)^2] \]
偏差：期望预测与真实标记的误差成为偏差(bias)，为了方便起见，我们直接取偏差的平方：
\[ bias^2(x)=(\overline{f}(x)-y)^2 \]

对算法的期望泛化误差进行分解：

https://www.cnblogs.com/makefile/p/bias-var.html

偏差-方差分解

标签：htm   期望值   模型   math   一个   数据   回归   ali   mat   

原文地址：https://www.cnblogs.com/laojifuli/p/11978809.html