码迷,mamicode.com
首页 > 其他好文 > 详细

估计、偏差和方差

时间:2018-11-29 01:23:20      阅读:167      评论:0      收藏:0      [点我收藏+]

标签:置信区间   下界   point   strong   ica   sed   好的   技术   训练   

1.点估计

  令 {x (1) ,...,x (m) } 是 m 个独立同分布(i.i.d.)的数据点。点估计(point esti-mator)或统计量(statistics)是这些数据的任意函数:

   技术分享图片

    良好的估计量的输出会接近生成训练数据的真实参数 θ

  点估计也可以指输入和目标变量之间关系的估计。我们将这种类型的点估计称为函数估计

2.偏差

  估计的偏差被定义为:

    技术分享图片

    其中期望作用在所有数据(看作是从随机变量采样得到的)上,θ 是用于定义数据生成分布的 θ 的真实值

    如果 bias( ? θ m ) = 0,那么估计量?θ m 被称为是无偏(unbiased),这意味着 E( ? θ m ) = θ。

    如果 lim m→∞ bias( ? θ m ) = 0,那么估计量?θ m 被称为是渐近无偏(asymptotically unbiased),这意味着 lim m→∞ E( ? θ m ) = θ

3.方差和标准差

  估计量的方差(variance)就是一个方差

     技术分享图片

  方差的平方根被称为标准差(standard error),记作SE( ? θ)

  均值的标准差被记作

    技术分享图片

  均值 ? μ m 为中心的 95% 置信区间是

    技术分享图片

    算法 A 比算法 B 好,是指算法 A 的误差的 95% 置信区间的上界小于算法 B的误差的 95% 置信区间的下界

  均方误差

    技术分享图片

 

估计、偏差和方差

标签:置信区间   下界   point   strong   ica   sed   好的   技术   训练   

原文地址:https://www.cnblogs.com/bigcome/p/10035663.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!