关于试验(测量)，事件，随机变量，取值，概率分布，信息，信息熵的理解

标签：

用实体-联系的观点理解概率：

　　每个变量都要与一个事件关联，变量依赖于事件的存在而存在，两个实体是一对一的联系；

　　每个事件都要与一个试验关联，事件也依赖于试验的存在而存在，两个实体是多对一的联系；

　　设变量的取值集合为S，如果在S上定义了一张映射表，这张映射表满足概率分布的性质，那么就称这个变量是一个定义了概率分布的随机变量；

　　随机变量和概率分布是完全独立的两个实体，它们独立存在不依赖于对方。但是随机变量可以服从一个概率分布，两个实体是多对一的联系；

任何实体都可以是信息：

　　如果给定一个实体E，如果E使得某个随机变量服从了不同的概率分布，那么就称这个实体是与这个随机变量关联的信息；

　　每一个概率分布表都蕴含了一个参数，这个参数称为这个概率分布的信息熵，具体见公式；

　　如果一个随机变量X服从的概率分布是P，如果在给出一个与X关联的信息之后，X服从了一个新的概率分布，新分布对应的信息熵与旧分布对应的信息熵的差值越大，那么这个信息包含的信息量越大。

进一步解释：

　　每一次测量或者试验，都会发生一系列事件，而且每个事件的发生必然存在于某一次试验。存在于不同试验的事件可以是有关联的，也可能是没有关联的。给定两次试验，如果分别位于两次试验中发生的所有事件对都是没有关联的，那么称两次试验是独立试验。

举例：

　　举个例子，我们想要去探讨太阳从哪个方向升起这个问题，首先必须要有一个试验：某一天；一个事件：太阳从某一方向升起；一个变量：取值东，西，南，北；一个概率分布：{东：1，西：0，南：0，北：0}；

　　如果现在给出一个实体，一篇文章，或者一个字符串，或者一张图片，或者一次物理学实验等等任何实体，它的出现使得变量服从了另一个概率分布：{东：0.25，西：0.25，南：0.25，北：0.25}，那么这个实体就是关于变量的信息，并且包含的信息量就非常大。

关于试验(测量)，事件，随机变量，取值，概率分布，信息，信息熵的理解

标签：

原文地址：http://www.cnblogs.com/xinchrome/p/4857399.html