一、折线图分析法和散列图分析法 二、协方差（两个参数）与协方差矩阵（参数大于两个） 三、相关系数法（可以直接用excel求相关系数） 四、一元回归（两个参数）和多元回归（多余两个参数） 五、信息熵及互信息 互信息指的是两个随机变量之间的关联程度，即给定一个随机变量后，另一个随机变量不确定性的削弱程度 ...
分类：
其他好文 时间：
2016-07-01 22:53:59
阅读次数：
215
lz这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),交叉熵(cross entropy),困惑度(perplexity),互信息(mutual information)。熵 (信息论)/信息熵在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。...
分类：
其他好文 时间：
2016-06-21 07:51:15
阅读次数：
568
返回目录
上一篇：k-近邻算法
1. 简单理论介绍
决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的，本次定义主要针对ID3算法。下面我们介绍信息熵的定义。
1.1 熵
设D为用类别对训练集进行的划分，则D的熵（entropy）表示为：...
分类：
其他好文 时间：
2016-05-16 09:33:49
阅读次数：
284
七月算法--12月机器学习在线班-第十一次课笔记—随机森林和提升 七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com 随机森林：多棵树，对当前节点做划分是最重要的 1，决策树 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造... ...
分类：
编程语言 时间：
2016-05-13 20:35:49
阅读次数：
237
七月算法--12月机器学习在线班-第十一次课笔记—随机森林和提升 七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com 随机森林：多棵树，对当前节点做划分是最重要的 1，决策树 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造... ...
分类：
编程语言 时间：
2016-05-13 14:35:37
阅读次数：
142
决策树是一种自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于一类。
决策树学习算法优点是，它可以自学习。在学习过程中，不需要使用者了解过多背景知识，只需要对实例进行较好的标注，就能够进行学习。决策树属于有监督学习。从一类无序、无规则的事物中推理决策树表示的分类规则。
决策树的建立...
分类：
编程语言 时间：
2016-05-06 16:00:12
阅读次数：
180
熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。 熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。 熵权法的基本思路是根据指标变异性的大小来确定客观权重。 一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在 ...
分类：
其他好文 时间：
2016-04-30 01:03:04
阅读次数：
337
我一直在思考一个问题，图像增强以后，哪些方面的特征最为显著，思来想去，无果而终！翻看了一篇知网的paper，基于保真度（VIF）的增强图像质量评价，文章中指出无参考质量评价，可以从三个方面考虑：平均梯度（AG）、信息熵(IE)、空间频率(SF)。这些特征不是很全面，效果也未必是好的，在数据库上测试的 ...
分类：
其他好文 时间：
2016-04-09 12:06:12
阅读次数：
288
Huffman编码实现压缩解压缩
什么是Huffman压缩
Huffman( 哈夫曼 ) 算法在上世纪五十年代初提出来了，它是一种无损压缩方法，在压缩过程中不会丢失信息熵，而且可以证明 Huffman 算法在无损压缩算法中是最优的。 Huffman 原理简单，实现起来也不困难，在现在的主流压缩软件得到了广泛的应用。对应用程序、重要资料...
分类：
其他好文 时间：
2016-04-05 09:32:18
阅读次数：
161
ID3算法 ID3算法是J. Ross Quinlan在1975提出的分类预测算法。该算法的核心是“信息熵”。 信息熵就是一组数据包含的信息，概率的度量。一组数据越有序信息熵也就越低，极端时如果一组数据中只有一个非0，其它都是0，那么熵等于0，因为只有可能是这个非0的情况发生，它给人们的信息已经确定
分类：
编程语言 时间：
2016-03-07 10:15:46
阅读次数：
208
