信息熵很亮的是在你知道一个事件的结果后，平均会带给你多大的信息量，当事件的不确定性越大，那么要搞清它所需要的信息量也就越大，也就是信息熵越大，是无序性，不确定性的度量指标。
信息熵的计算：
-p[i]logp[i]，底数为2
public static double calcEntropy(int p[]) {
double entropy = 0;
// 用来计算总的样本数量，p[...
分类：
其他好文 时间：
2014-08-25 15:01:05
阅读次数：
293
1、在web界面找到要恢复的虚拟机2、查看虚拟机的云硬盘ID3、列如：云硬盘的ID是49a426c8-6a9c-4047-a100-8ad07885952c4、从数据库cinder库中，卸载云硬盘和虚拟机的挂载1)、查看此云硬盘的信息mysql>select*fromvolumeswhereid="49a426c8-6a9c-4047-a100-8ad07885952c";+---..
分类：
其他好文 时间：
2014-08-21 15:15:14
阅读次数：
323
上一节我们学习knn，kNN的最大缺点就是无法给出数据的内在含义，而使用决策树处理分类问题，优势就在于数据形式非常容易理解。 决策树的算法有很多，有CART、ID3和C4.5等，其中ID3和C4.5都是基于信息熵的，也是我们今天的学习内容。1. 信息熵 熵最初被用在热力学方面的，由热力学第二...
分类：
其他好文 时间：
2014-08-12 02:58:03
阅读次数：
2296
1.ubuntu 13.10 Rhythmbox不能播放mp3的解决方法
软件中心搜索（ubuntu额外的版权受限软件）不带括号
2.中文乱码问题解决方法：
终端顺序操作 ：
1.
sudo gedit ~/.profile
2. 文件最后加入以下内容
export GST_ID3_TAG_ENCODING=GBK:UTF-8:GB18030expor...
分类：
其他好文 时间：
2014-08-04 21:39:28
阅读次数：
291
qemu-imgconvert-Oqcow2####vmdk文件转换为相应的文件（.qcow2.raw） 1)novalist--all-tenants2)cinderlist--all-tenants|grep对应ID3)rbdsnapcreatepaas_dev_volumes/volume-对应VMID@bitnami-espocrm-ubuntu20144)rbdexportpaas_dev_volumes/volume-对应ID@bitnami-espocrm-u..
分类：
其他好文 时间：
2014-07-26 03:22:07
阅读次数：
230
一 建表和现象的过程如下CREATE TABLE t1 (id1 INT, a1 INT, b1 INT, PRIMARY KEY(id1));CREATE TABLE t3 (id3 INT UNIQUE, a3 INT, b3 INT);INSERT INTO t1 VALUES (1, 1, ...
分类：
数据库 时间：
2014-07-22 22:45:34
阅读次数：
308
一篇关于决策树算法ID3的好文.包括原理讲解和算法的C++实现实例....
分类：
编程语言 时间：
2014-07-22 17:56:51
阅读次数：
614
决策树的优势就在于数据形式非常容易理解，而kNN的最大缺点就是无法给出数据的内在含义。
1：简单概念描述
决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的，本次定义主要针对ID3算法。下面我们介绍信息熵的定义。
事件ai发生的概率用p(ai...
分类：
其他好文 时间：
2014-07-21 22:21:08
阅读次数：
360
学习是一个循序渐进的过程，我们首先来认识一下，什么是决策树。顾名思义，决策树就是拿来对一个事物做决策，作判断。那如何判断呢？凭什么判断呢？都是值得我们去思考的问题。请看以下两个简单例子：第一个例子现想象一个女孩的母亲要给自己家的闺女介绍男朋友，女孩儿通过对方的一些情况来考虑要不要去，于是有了下面的对...
分类：
其他好文 时间：
2014-07-16 19:28:14
阅读次数：
4453
一、决策树原理 决策树是用样本的属性作为结点，用属性的取值作为分支的树结构。 决策树的根结点是所有样本中信息量最大的属性。树的中间结点是该结点为根的子树所包含的样本子集中信息量最大的属性。决策树的叶结点是样本的类别值。决策树是一种知识表示形式，它是对所有样本数据的高度概括决策树能准确地识别所有样本的类别，也能有效地识别新样本的类别。 决策树算法ID3的基本思想： 首先找出最有...
分类：
编程语言 时间：
2014-07-14 20:34:04
阅读次数：
391
