在阅读 The Elements of Statistical Learning 第三章的时候，有一个式子我没有弄明白：设 $Y = X\beta + \epsilon$，其中 $\epsilon$ 的均值为 0，方差为 $\sigma^2$；再设 $X$ 是 $N \times (p+1)$ 的矩... ...
分类：
其他好文 时间：
2017-09-25 11:54:17
阅读次数：
166
在一个样本中，样本的无偏估计的均值、标准差和方差如下： 对于单个变量，它的协方差可以表示为： 其实它即是方差，所以呢，当只有一个变量时，方差是协方差的一种特殊情况； 举例：有一个变量 X的样本为：0.2， 0.3，0.4，0.3，0.5；求自身的协方差（即方差） 对于两个变量，协方差可以表示为： 它... ...
分类：
其他好文 时间：
2017-06-12 16:16:02
阅读次数：
161
1. 相关分析 1.1 相关系数 在一堆变量中，找到并分析它们之间的关系，是复杂环境和模型中的重要任务。由于线性关系的特殊、常见和简单，数学上往往采用线性关系来逼近实际关系。上篇的线性回归以及概率论中的线性回归，更关注的是线性函数的参数估计。如果想单纯地度量随机变量的线性关系，直接讨论相关系数即可， ...
分类：
其他好文 时间：
2017-05-24 09:54:52
阅读次数：
204
本篇文章主要讨论样本方差和样本协方差除以n-1问题，其他暂且不做过多赘述。 方差的维基百科定义：一个随机变量的方差描述的是它的离散程度，也就是该变量到其期望值的距离。 计算公式： 样本方差：样本方差是依据所给样本对方差做出的一个无偏估计。用样本去推测整体情况。 计算公式： 其中n为样本数。 等等，为 ...
分类：
其他好文 时间：
2017-02-10 13:03:42
阅读次数：
171
【4】 multiple signal classification（MUSIC）：多信号分级 unbiased estimate：无偏估计 incident wavefront：入射波波前 incident signal：入射波 cross correlation:互相关 array elemen ...
分类：
其他好文 时间：
2016-10-12 19:23:30
阅读次数：
181
协方差：两个变量总体误差的期望。简单的说就是度量Y和X之间关系的方向和强度。X：预测变量Y：响应变量Y和X的协方差：［来度量各个维度偏离其均值的程度］备注:［之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的协方差，即统计上所谓的“无偏估计..
分类：
其他好文 时间：
2016-10-11 22:25:43
阅读次数：
527
多元线性回归的最小二乘解（无偏估计） 岭回归(Ridge Regression，RR) 当自变量间存在复共线性时，｜X′X｜≈0，我们设想给X′X加上一个正常数矩阵kI，（k＞0)， 那么X′X+kI接近奇异癿程度就会比X′X接近奇异癿程度小得多。岭回归做为β癿估计应比最小二乘估计稳定，当k=0时癿 ...
分类：
其他好文 时间：
2016-04-23 18:02:04
阅读次数：
128
原文出处： http://blog.sina.com.cn/s/blog_c96053d60101n24f.html 在PCA算法中用到了方差，协方差矩阵，其中方差公式为，协方差矩阵公式为，当时不明白为什么除的不是m，而是m-1，那么想要知道为何，下面就是你想要的答案。 假设X为独立同分布的一组随机
分类：
其他好文 时间：
2016-02-14 06:48:17
阅读次数：
196
课程3课程3
大纲
多元线性回归的最小二乘解
1几何解释
2广义逆的奇异性
3无偏估计
岭回归
1几何意义
2岭回归的性质
3的选择原则
4用岭回归选择变量
5岭回归存在的问题
6通过R演练
LASSO
1LASSO vs 岭回归
11弹性网
2求解过程LAR算法
1.大纲
扔给你一堆数据，可能有成百上千各变量,怎样变量选择，怎样排除多重共线性问题：
要么丰厚的业务知识丰富，根据经验来选择；
要么...
分类：
其他好文 时间：
2015-06-26 11:05:23
阅读次数：
231
所谓总体参数估计量的无偏性指的是，基于不同的样本，使用该估计量可算出多个估计值，但它们的平均值等于被估参数的真值。 在某些场合下，无偏性的要求是有实际意义的。例如，假设在某厂商与某销售商之间存在长期的供货关系，则在对产品出厂质量检验方法的选择上，采用随机抽样的方法来估计次品率就很公平。这是因...
分类：
其他好文 时间：
2015-03-09 15:55:05
阅读次数：
114
