2.数理统计与参数估计

时间：2016-05-06 15:17:11 阅读：201 评论：0 收藏：0 [点我收藏+]

标签：

注：以下内容整理于七月算法2016年4月班培训讲义，详见： http://www.julyedu.com/

内容简介：

A.重要统计量
B.重要定理与不等式
C.参数估计

A.重要统计量
一、概率与统计
概率：已知总体的分布情况，计算事件的概率
统计：总体分布未知，通过样本值估计总体的分布

二、概率统计与机器学习的关系
1.统计估计的是分布，机器学习训练出来的是模型，模型可能包含了多个分布。
2.训练与预测过程的一个核心评价指标是模型的误差。
3.误差可以是概率的形式，与概率紧密相关。
4.误差的定义方式不同，由此损失函数的定义方式也不同。

三、期望：加权平均值
离散型定义：
技术分享

连续性定义：

期望的性质
1.E(C)=C
2.E(CX)=CE(X)
3.E(X+Y)=E(X)+E(Y)
证明:
技术分享

4.如果X和Y独立，则E(XY)=E(X)E(Y)
证明：
技术分享

四、方差：相对于期望的偏离程度
技术分享

方差性质：
1.D(c)=0
2.D(X+c)=D(X)
3.D(kX)=k^2*D(X)
4.D(X+Y)=D(X)+D(Y)+2E{[X-E(X)][Y-E(Y)}
如果X和Y独立，则D(X+Y)=D(X)+D(Y)
证明如下：
技术分享

五、协方差：
定义：Cov(X,Y)=E{[X-E(X)][Y-E(Y)}=E(XY)-E(X)E(Y)
协方差性质：
Cov(X,Y)=Cov(Y,X)
Cov(aX+b,cY+d)=acCov(X,Y)
Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)

六、独立、互斥、不相关
独立定义：P(XY)=P(X)P(Y)
互斥定义：P(XY)=0
不相关定义：Cov(X,Y)=0

X和Y独立
=>E(XY)=E(X)E(Y)
=>Cov(X,Y)=0
=>X和Y不相关
故X和Y独立可推出二者不相关，反之不成立。
不相关本质上指线性独立，即X和Y之间没有线性关系，但二者可能存在其他关系，所以不能保证X和Y独立。
但是，特别的，对于二维正态随机变量，X和Y不相关等价于X和Y独立。

七、协方差矩阵：
设n个随机变量(X1,X2,....Xn)，Cij=Cov(Xi,Xj)都存在，则称矩阵
技术分享