前面用猜数字游戏说明了二分的思想，这里再看一个常见的思维题：皇家娱乐城12个小球，其中有一个是坏球。有一架天平。需要你用最少的称次数来确定哪个小球是坏的并且它到底是轻还是重。这个问题是一道流传已久的智力题。网络上也有很多讲解，还有泛化到N个球的情况下的严格证明。也有零星的一些地方提到从信息论的角度来...
分类：
其他好文 时间：
2014-09-13 18:27:15
阅读次数：
206
对于事件A和事件B同时出现的，一种信息论的描述方法就是互信息，计算方式如下其意义：由于事件A发生与事件B发生相关联而提供的信息量。在处理分类问题提取特征的时候就可以用互信息来衡量某个特征和特定类别的相关性，如果信息量越大，那么特征和这个类别的相关性越大。反之也是成立的。以搜狗实验室的语料为例。选取金...
分类：
其他好文 时间：
2014-08-31 01:38:40
阅读次数：
205
上学期学信息论这门课的时候，接触到了通信复杂度这个话题。我觉得这是一个非常有意思的领域。70年代时，姚期智老师也在这个领域作出了重要的成果。借用Matrix67文章里的一段话，介绍一下通信复杂度的定义。通信复杂度（communication complexity）主要研究这么一类问题： A 持有数据...
分类：
其他好文 时间：
2014-08-23 17:41:31
阅读次数：
273
论坛搭建好，首先是把多余的东西都砍掉。页脚的信息在我看来，都是很多余的信息，如下图：要怎么消灭掉它们呢？1、进入 全局 -- 站点信息2、站点名称改为你的论坛名称，它会出现在内页的标题最末位。3、我比较喜欢简洁，所以我将网站名称和网站URL都删掉了，当然你也可以设置为自己的论坛名称和域名。4、打开t...
分类：
其他好文 时间：
2014-08-14 13:11:18
阅读次数：
198
信息熵和信息增益
一、信息熵
信息熵是信息论中的基本概念。信息论由Shannon于1948年提出并发展起来，用于解决信息传递过程中的问题，也称统计通信理论。它认为：
1、信息传递由信源、信道和信宿组成；
2、传递系统存在于一个随机干扰环境中，因此传递系统对信息的传递是随机误差的。如果把发送信息记为U而接收到信息记 V，由信道可记为通信模型，为P(U|V)。信道模型是一个条件...
分类：
其他好文 时间：
2014-07-28 00:03:29
阅读次数：
451
一、信息论基础： 熵： 联合熵：实际上就是描述一对随机变量平均所需要的信息量。
条件熵：给定随机变量 X 的情况下，随机变量 Y 的条件熵定义为： 熵率： 相对熵（KL距离）：两个概率分布 p(x) 和 q(x) 的相对熵定义为：
交叉熵：如果一个随机变量 X ~ p(x)，q(x)为用于近似 p(...
分类：
其他好文 时间：
2014-05-31 15:39:37
阅读次数：
319
