题记： 最近对一些推理问题很感兴趣，起初主要是源于学习Mackay“信息论、推理与学习算法”的时候，感觉到数据挖掘和推理分析是本学科的一个核心的方法论。后来感觉到，对于我在信息时代的生存和发展也是很重要的。对于信息时代，所谓的“信息不对称”已经渐渐由获取渠道的不对称（也就是说有的人能得到信息而有的人...
分类：
其他好文 时间：
2015-09-09 11:27:31
阅读次数：
154
【主成分分析用了很多次，每次都是似懂非懂意会了事用SPSS解决，身为一个本科数学的甚感惭愧。将原理部分思路总结如下以供时候参考。】主成分分析的目的是在p个特征中通过组合成p个新特征，在其中选取m个特征代表p个原始特征。从信息论的角度考虑，这m个特征蕴含了原始数据大部分的信息熵；从方差（？）的角度，这...
分类：
其他好文 时间：
2015-09-03 15:21:00
阅读次数：
375
作为一个通信人，本科时候上过信息论，研究生也继续修过信息编码。面试的时候，面试官说了一个哈夫曼树，作为一个通信人竟然忘了。多少有些说不过去。理论知识Huffman算法的最根本的原则是：累计的(字符的统计数字字符的编码长度)为最小，也就是权值(字符的统计数字字符的编码长度)的和最小。 这样编码可以达到压缩的效果。又名最优二叉树。
具体的可以参考左耳朵耗子的博客：http://coolshell.c...
分类：
编程语言 时间：
2015-08-28 21:28:36
阅读次数：
240
最近在学习java的数据结构与算法知识，看到数据结构 树的遍历的方式。在理解过程中。查看到一篇文章，视野非常有深度，在信息论的角度看待这个问题。在此贴出该文章的链接以及内容。 【文章出处】http://www.bina...
分类：
编程语言 时间：
2015-08-12 23:47:41
阅读次数：
681
信息论
熵
如果离散随机变量有P（X）分布，那么x所携带的熵（信息量）：
之所以用log2来作为底，是为了方便衡量该信息可以用多少bit来表示。因为1个bit非0即1. 从上公式可以推导出：当k个状态发生的几率一样时，随机变量X所携带的熵越大。正如下图表示的伯努利分布所携带的熵随着概率变化的结果：
KL divergence
KL divergence 全称Kullbac...
分类：
系统相关 时间：
2015-07-31 20:28:17
阅读次数：
333
1、引言 决策树是建立在信息论基础之上，对数据进行分类挖掘的一种方法。其思想是，通过一批已知的训练数据建立一棵决策树，然后利用建好的决策树，对数据进行预测。决策树的建立过程可以看成是数据规则的生成过程。由于基于决策树的分类方法结构简单，本身就是人们能...
分类：
其他好文 时间：
2015-07-28 00:48:52
阅读次数：
113
凯利公式凯利公式最初为AT&T贝尔实验室物理学家凯利根据香农于长途电话线噪声上的研究所建立。凯利说明香农的信息论要如何应用于一名拥有内线消息的赌徒在赌马时的问题：赌徒希望决定最佳的下注金额，而他的内线消息不需完美（无噪声），即可让他拥有有用的优势。凯利的公式随后被香农的另一名同僚爱德华·索普应用于二...
分类：
其他好文 时间：
2015-07-13 15:44:20
阅读次数：
145
吴军的这本数学之美从google黑板报到实体书出版应该说一直都是比较火的，吴军博士作为早期加入google的那帮人，一直在搞搜索引擎的方向，除了本身是大牛还跟很多大牛一起共事过，眼界、见识、思维高度也不是一般人能比的。下面是一些凌乱的总结。 1.整个信息论的基础就是数学。如果往更远看，我们自然...
分类：
其他好文 时间：
2015-06-28 06:23:50
阅读次数：
138
单义代码/唯一可译码 Uniquely decodable code
对多个码字(w1,w2,...wn)任意组合成的序列再进行分割,只能唯一地分割成一个个码字.
单义代码不需要同步码 synchronous code
例如: 码字集1:{1,10,00}
码元序列:1100010101
码字集1是单义的
码字集2:{1,01,00,11...
分类：
其他好文 时间：
2015-06-20 09:14:15
阅读次数：
220
关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如...
分类：
其他好文 时间：
2015-06-16 22:51:30
阅读次数：
159
