标签：style strong ar line size ef on sp
本文主要介绍单个随机变量的Chernoff Bound，以及多个随机变量的Chernoff Bound，和最为广泛的Hoeffding不等式
1.单个随机变量的Chernoff Bound
设X为实随机变量,则有:
$$\Pr (X > t) \leq \inf_{s > 0} \frac{E (e^{sX})}{e^{st}}$$
证明用Markov不等式即可。
2.多个随机变量的Chernoff Bound
$X_{1, 2, \cdots, n}$独立,$X_i\in[0,1]$,$\bar{X} = \frac{1}{n} \sum_{i = 1}^n X_i$, 则有：
$$ \Pr (\bar{X} - E(\bar{X}) \geq \varepsilon) \leq \exp (- 2 n \varepsilon^2) $$
3.Hoeffding不等式
$X_{1, 2, \cdots, n}$独立,$X_i\in[a_i,b_i]$,$\bar{X} = \frac{1}{n} \sum_{i = 1}^n X_i$, 则有：
$$ \Pr (\bar{X} - E(\bar{X}) \geq \varepsilon) \leq \exp (- \frac{2 n \varepsilon^2}{\sum_{i=1}^n (b_i-a_i)^2})$$
可见Hoeffding不等式是多个随机变量的Chernoff Bound的推广
Hoeffding不等式可以有效估计有界独立随机变量的和偏离期望过远的概率
Chernoff Bound与Hoeffding's Ineq,布布扣,bubuko.com
Chernoff Bound与Hoeffding's Ineq
标签：style strong ar line size ef on sp
原文地址：http://www.cnblogs.com/dc93/p/3924645.html
