码迷,mamicode.com
首页 > 其他好文 > 详细

概率论与数理统计基础<1>:随机事件与随机变量

时间:2018-07-11 22:57:01      阅读:242      评论:0      收藏:0      [点我收藏+]

标签:泊松分布   sigma   相同   度量   集中   参数   完全   子集   一个   

Part1. 随机事件

1-1.随机试验

随机试验:可以在相同条件下重复进行,每次试验的结果不止一个,事先知道所有可能的结果但不确定是哪一个的试验。
举例:重复的抛出一枚均匀的硬币就是一个随机试验,事先知道它的结果,但是不知道究竟是正面还是反面。

1-2.随机事件

定义1:随机试验可能的结果,称为样本空间,它的子集就叫做随机事件
定义2:在一定条件下,可能发生也可能不发生的事件叫做随机事件
举例:抛出硬币后可能正面落地,可能反面落地,那么“抛出硬币后正面落地”就是一个随机事件,它可能发生,也可能不发生。

1-3.频率与概率

频率:\(n\)次重复试验,事件A发生的次数为\(n_A\),则\(n_A/n\)就是事件A发生的频率。
概率:当重复试验次数n越来越大时,事件A发生的频率\(n_A/n\)就会越来越稳定于一个常数;当试验次数趋向无穷大时,频率就等于这个常数,这个常数就被称为概率。
概率是一个随机事件的固有属性,它代表一个随机事件发生的可能程度,而频率是一个随机事件在一系列试验中发生的结果情况,是一个统计值。

1-4.古典概型(等可能概型)

古典概型:如果一个随机试验的结果有限,并且每一种结果发生的可能性相同,那么这个概率模型就是古典概型,也称为等可能概型

1-5.条件概率与全概率

条件概率:
\[ P(B|A)=\frac{P(AB)} {P(A)}, 其中P(A)>0 \]
事件A发生的情况下事件B发生的概率,称为条件概率。
全概率:
\[ P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+…+P(A|B_n)P(B_n) \]
其中,\(B_i \cap B_j= \emptyset,i \neq j,i,j=1,2…n;B_1\cup B_2 \cup … \cup B_n = S.\)

1-6.贝叶斯公式

\[ P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum\limits_{j=1}^n{P(A|B_j)P(B_j)}},i=1,2…n. \]
其中,\(P(A)>0,P(B_i)>0(i=1,2…n)\)

1-7.先验概率与后验概率

先验概率\(P(Y)\)
后验概率\(P(Y|X)\)
先验概率是事前概率,是历史数据统计得到的预判概率;后验概率是一个事件发生后另外一个事件发生的概率,是条件概率。
举例:
根据历史统计数据,这个季节下雨的概率为\(P(A)\),而打雷后下雨的概率为\(P(A|B)\),前者为先验概率,后者为后验概率
贝叶斯公式就是一种通过先验概率计算后验概率的方法

1-8.独立事件

相互独立
设A、B是两个随机事件,如果满足\(P(AB)=P(A)P(B)\),则称A、B相互独立。
定理1
设A、B是两个随机事件,且\(P(A)>0\),则A、B相互独立等价于\(P(B|A)=P(B)\)
如果两个时间相互独立,那么一个事件是否发生对另一个事件发生没有影响。
定理2
如果A、B相互独立,则\(\bar A\)\(B\)\(\bar A\)\(\bar B\)\(A\)\(\bar B\)均为相互独立事件。
推广到n个事件
\(A_1,A_2,……,A_n\)\(n(n \geq 2)\)个事件,如果其中任意多个事件的积事件的概率,都等于各事件的概率之积,则称\(A_1,A_2,……,A_n\)相互独立。




Part2. 随机变量

2-1.随机变量

随机试验可能的结果形成了样本空间S,随机事件就是样本空间S的某个子集,而样本空间S中每个元素e都会对应一个实数,这种映射关系可以定义为一个函数f(e),那么这个函数就c称为随机变量
这样定义随机变量:随机变量是随机试验样本空间上的单值实数函数
因此,随机变量的取值是由随机试验的结果确定,具有概率性。
举例:
重复的抛出一枚均匀的硬币,其结果可能是正面朝上,也可以能是反面朝上,结果可能情况提前知道但不确定具体是哪种结果,所以说,这是一个随机试验。
"结果正面朝上"是其中一种结果,是一个随机事件,可能发生,也可能不发生。
如果定义“抛出一枚硬币,正面朝上的次数”为X,那么,“结果正面朝上”时,X=1;“结果反面朝上”时,X=0。那么X就是一个随机变量。

2-2.连续型随机变量与离散型随机变量

离散型随机变量:取值可以一一列举,有限个或者可列举的无限多个。
连续型随机变量:取值不能一一列举,可能取值连续的充满了某一区间。

2-3.离散型随机变量的分布律

定义:设离散型随机变量\(X\)所有可能的取值为\(x_k(k=1,2,…)\),X取各个可能值的概率为:
\[ P\{X=x_k\}=p_k,k=1,2,… \]其中\(p_k\)满足两个条件:1)\(p_k \geq 0,k=1,2…\);2)\(\sum\limits_{k=1}^\infty{p_k}=1\)
可以将分布律用表格表示:
技术分享图片


2-4.随机变量的分布函数

定义:设X是一个随机变量,x是任意实数,函数:
\[F(X)=P\{X \geq x\}, -\infty < x < +\infty \] 称为\(X\)分布函数
有以下性质:
1)对于任意实数,\(x_1,x_2(x_1 \leq x_2)\),有:
\[ P\{x_1< X \leq x_2\}=P\{X \leq x_2\}-P\{X \leq x_1\}=F(x_2)-F(x_1) \]2)\(F(X)\)是一个不减函数;
3)\(F(-\infty)=0,F(+\infty)=0\)
4)\(F(X)\)是一个右连续函数;

2-5.连续型随机变量的概率密度函数

对于一个连续型随机变量\(X\),其分布函数为\(F(X)\),如果存在非负函数\(f(x)\),并且对于任意实数\(x\),有:
\[ F(X)=\int_{-\infty}^x {f(t)}{\rm d}t \]那么就称\(f(x)\)为随机变量\(X\)概率密度函数
有以下性质:
1)\(f(x) \geq 0\)
2)\(\int_{-\infty}^{+\infty} {f(x)}{\rm d}x=1\)
3)对于任意实数\(x_1,x_2(x_1 \leq x_2)\),有\(P\{x_1<X \leq x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2} {f(x)}{\rm d}x\)
4)若\(f(x)\)在点\(x\)处连续,则有\(F‘(X)=f(x)\)

2-6.重要的随机变量分布

(1)0-1分布

定义:随机变量\(X\)只可能取两个值:0或者1,分布律为:
\[ P\{X=x_k\}=p^k{(1-p)^{1-k}},k=0,1,其中0<p<1. \]
技术分享图片

(2)二项分布

伯努利试验:某一个试验只有两种可能的结果,独立的进行n次重复试验,称为n重伯努利试验
两个特点:1)重复:两个可能的结果及其概率不变;2)独立:两两试验之间互不影响。
定义:随机变量\(X\)表示n重复伯努利试验中某事件A发生的次数,那么它的概率为:
\[ P\{X=k\}={n \choose k}{p^k}{(1-p)^{n-k}},k=0,1,…,n \] 其中,\(p\)为事件A发生的概率。
我们称\(X\)服从(n,p)的二项分布,当n=1时,即为0-1分布。

(3)几何分布

定义:随机变量\(X\)表示n重复伯努利试验中某事件A第一次发生时的试验次数,那么它的概率为:
\[ P\{X=k\}=(1-p)^{k-1}p,k=1,2,… \] 其中,\(p\)为事件A发生的概率。
我们称\(X\)服从几何分布,记为\(X~G(p)\)

(4)泊松分布

定义:随机变量X所有可能取值为0,1,2,…,如果各个取值的概率为:
\[ P\{X=k\}=\frac{\lambda ^k{e^{-\lambda}}}{k!},\lambda > 0 \] 则称随机变量\(X\)服从泊松分布,记为\(X\)~\(\pi(\lambda)\)

(5)均匀分布

定义:如果连续型随机变量X具有概率密度函数:
\[ f(x)=\begin{cases} \frac{1}{b-a},\quad a \leq x\leq b\0, \quad 其他 \end{cases} \]则称\(X\)在区间\([a,b]\)上服从均匀分布,记为\(X\)~\(U(a,b)\)
均匀分布的概率大小只与区间长度有关,与区间位置无关。

(6)指数分布

定义:如果连续型随机变量X具有概率密度函数:
\[ f(x)=\begin{cases} \frac{1}{\theta}e^{-x/\theta},\quad x>0\0, \quad 其他 \end{cases} \]其中,\(\theta>0\)为常数,则称\(X\)服从参数为\(\theta\)指数分布
具有以下性质:
对于任意的\(s,t>0\),有\(P\{X>s+t|X>s\}=P\{X>t\}\)

(7)正态分布

定义:如果连续型随机变量\(X\)的概率密度函数为:
\[f(x)= \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2{\sigma}^2}}, -\infty <x< +\infty \] 其中\(\mu,\sigma(\sigma>0)\)为常数,则称X服从参数为\(\mu,\sigma\)正态分布(高斯分布),记为\(X\)~\(N(\mu,{\sigma}^2)\)
具有以下性质:
1)图像关于\(x=\mu\)轴对称,\(x=\mu\)取到最值\(\frac{1}{\sqrt{2\pi}\sigma}\)
2)\(\sigma\)越小,曲线越尖瘦,越大越矮胖。
其分布函数为:
\[ F(X)=\frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^xe^{-\frac{(t-\mu)^2}{2{\sigma}^2}}dt \]标准正态分布
\(\mu=0,\sigma=1\)时,随机变量X服从标准正态分布
其概率密度函数为:
\[ f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, -\infty <x< +\infty \]
其分布函数为:
\[ F(X)=\frac{1}{\sqrt{2\pi}} \int_{-\infty}^xe^{-\frac{t^2}{2}}dt \]
普通正态分布函数转为标准正态分布函数:
\[ F(X)=\Phi(\frac{X-\mu}{\sigma}) \]
\(3\sigma\)原则
如果一个随机变量服从正态分布\(N(\mu,{\sigma}^2)\),那么其99.74%的概率会分布在\((\mu-3\sigma,\mu+3\sigma)\)范围内。




Part3. 随机变量的数学特征

3-1.期望

期望,又称均值,由随机变量\(X\)的概率分布确定。
对于一个离散型随机变量\(X\),其分布律为\(P\{X=x_k\}=p_k,k=1,2,…\),则其期望为:
\[ E(X)=\sum_{k=1}^{+\infty}{x_k}{p_k} \]
对于一个连续型随机变量\(X\),其概率密度函数为\(f(x)\),则其期望为:
\[ E(X)=\int_{-\infty}^{+\infty} x{f(x)}dx \]
期望的性质:
1)设\(C\)为常数,则有\(E(C)=C\)
2)设\(X\)是一个随机变量,C是常数,则有\(E(CX)=CE(X)\)
3)设\(X,Y\)是两个随机变量,则有\(E(X+Y)=E(X)+E(Y)\),可推广到任意有限个随机变量之和;
4)设\(X,Y\)是相互独立的随机变量,则有\(E(XY)=E(X)E(Y)\),可推广到任意有限个相互独立的随机变量之积。

3-2.方差

方差,用来度量随机变量X与其均值E(X)之间的偏离程度。D(X)越小代表数据越集中,越大代表数据越分散。
\[ D(X)=Var(X)=E\{[X-E(X)]^2\} \]
标准差,或称均方差为\(\sigma(X)=\sqrt{D(X)}\)
对于一个离散型随机变量,其方差为:
\[ D(X)=\sum_{k=1}^{+\infty}{[x_k-E(X)]^2{p_k}} \]
对于一个连续型随机变量,其方差为:
\[ D(X)=\int_{-\infty}^{+\infty} {[x-E(X)]^2}{f(x)}dx \]
另外,方差与期望之间有如下关系:
\[ D(X)=E(X^2)-[E(X)]^2 \]
方差的性质:
1)设\(C\)为常数,则\(D(C)=0\)
2)设\(X\)施随机变量,\(C\)是常数,则有:\(D(CX)=C^2{D(X)}, D(X+C)=D(X)\)
3)设\(X,Y\)是两个随机变量,则有\(D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}\)
特别地,如果\(X,Y\)相互独立,则有\(D(X+Y)=D(X)+D(Y)\)

3-3.协方差与相关系数

二维随机变量\((X,Y)\),定义随机变量\(X\)\(Y\)协方差
\[ Cov(X,Y)=E{[X-E(X)][Y-E(Y)]} \] 有以下性质:
1)\(Cov(X,Y)=Cov(Y,X)\)
2)\(Cov(X,X)=D(X)\)
3)\(D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\)
4)\(Cov(X,Y)=E(XY)-E(X)E(Y)\)
5)\(Cov(aX,bY)=abCov(X,Y),a,b\)是常数
6)\(Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_1,Y)\)
定义随机变量X与Y的相关系数
\[ \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} \] 有以下性质:\(|\rho_{XY}| \leq 1\)
\(\rho_{XY}\)是一个可以用来表征\(X,Y\)之间线性关系紧密程度的量。当\(|\rho_{XY}|\)较大时,就认为\(X,Y\)线性相关程度大;\(|\rho_{XY}|\)较小时,就认为\(X,Y\)线性相关程度小;\(|\rho_{XY}|\)为0时,就认为\(X,Y\)不相关;\(|\rho_{XY}|\)为1时,就认为\(X,Y\)完全线性相关。
\(X,Y\)相互独立时,一定不相关;\(X,Y\)不相关时,则不一定相互独立。

3-4.原点矩与中心矩

\(X,Y\)是随机变量,
k阶原点矩:\(E(X^k),k=1,2,…\)
k阶中心矩:\(E([X-E(X)]^k),k=2,3,…\)
k+l阶混合矩:\(E({X^k}{Y^l}),k,l=1,2,…\)
k+l阶混合中心矩:\(E({[X-E(X)]^k}{[Y-E(Y)]^l}),k,l=1,2,…\)
可以看出:期望E(X)是一阶原点矩,方差D(X)是而阶中心距,协方差Cov(X,Y)是X和Y的二阶混合中心矩。

3-5.协方差矩阵

对于二维随机变量\((X_1,X_2)\),如果它的四个二阶中心矩都存在,记为:
\(c_{11}=E\{[X_1-E(X_1)]^2\}\)
\(c_{12}=E\{[X_1-E(X_1)][X_2-E(X_2)]\}\)
\(c_{21}=E\{[X_2-E(X_2)][X_1-E(X_1)]\}\)
\(c_{22}=E\{[X_2-E(X_2)]^2\}\)
将它们排成矩阵形式:
\[ \begin{pmatrix} c_{11} & c_{12}\\ c_{21} & c_{22} \\ \end{pmatrix} \]
这个矩阵就是随机变量\((X_1,X_2)\)的协方差矩阵。
推广到\(n\)维随机变量\((X_1,X_2,…,X_n)\)的二阶混合中心矩,如果:
\(c_{ij}=Cov(X_i,Y_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\},i,j=1,2,…\)
都存在,则称矩阵:
\[ \begin{pmatrix} \begin{array}{cccc} c_{11} & c_{12} & \dots & c_{1n}\c_{21} & c_{22} & \dots & c_{2n}\\vdots & \vdots & &\vdots\c_{n1} & c_{n2} & \dots & c_{nn}\\end{array} \end{pmatrix} \]\(n\)维随机变量\((X_1,X_2,…,X_n)\)的协方差矩阵。

3-5.重要分布的数学特征

0-1分布:期望\(p\)、方差\(p(1-p)\)
二项分布:期望\(np\)、方差\(np(1-p)\)
几何分布:期望\(\frac{1}{p}\)、方差\(\frac{1-p}{p^2}\)
泊松分布:期望\(\lambda\)、方差\(\lambda\)
均匀分布:期望\(\frac{a+b}{2}\)、方差\(\frac{(b-a)^2}{12}\)
指数分布:期望\(\theta\)、方差\({\theta}^2\)
正态分布:期望\(\mu\)、方差\({\sigma}^2\)



概率论与数理统计基础<1>:随机事件与随机变量

标签:泊松分布   sigma   相同   度量   集中   参数   完全   子集   一个   

原文地址:https://www.cnblogs.com/hbsygfz/p/9282709.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!