距离有近有远，时间有长有短，温度有高有低，我们知道可以用米或者千米来度量距离，用时分秒可以来度量时间的长短，用摄氏度或者华氏度来度量温度的高低，那么我们常说这句话信息多，那句话信息少，那么信息的多少用什么度量呢？信息量！ 信息量是度量知晓一个未知事物需要查询的信息的多少，单位是比特 。比如昨天你错过 ...
分类：
其他好文 时间：
2020-04-12 14:11:48
阅读次数：
69
要对数据进行分类，涉及到通过选取什么样的特征对数据进行分类，比如将柚子和西瓜进行分类，可以选取（大小、颜色、甜度等特征） 决策树的功能就是判断使用哪个特征，然后选取他认为最好的特征对数据进行分类。 那么他是如何选取最好的特征呢？ 就是通过信息熵来选取特征，求以每个特征来分类对应的信息熵（香农商），选 ...
分类：
其他好文 时间：
2020-03-15 14:56:18
阅读次数：
95
1. 信息熵 信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。信息量是对信息的度量，就跟时间的度量是秒一样，当我们考虑一个离散的随机变量 x 的时候，当我们观察到的这个变量的一个具体值的时 ...
分类：
其他好文 时间：
2020-03-12 14:25:08
阅读次数：
88
1、信息量 “陈羽凡吸毒？！工作室不是刚辟谣了吗？哇！信息量好大！” 在生活中，极少发生的事情最容易引起吃瓜群众的关注。而经常发生的事情则不会引起注意，比如吃瓜群众从来不会去关系明天太阳会不会东边升起。 信息量的多少与事件发生概率的大小成反比。 对于已发生的事件i，其所提供的信息量为： 其中底数通常 ...
分类：
其他好文 时间：
2020-02-28 21:01:26
阅读次数：
54
信息熵 信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，比如机器学习。 信息量用来度量一个信息的 ...
分类：
其他好文 时间：
2020-01-17 21:30:11
阅读次数：
86
信息熵为什么要定义成 Σp log(p)？ 再解释信息熵之前，需要先来说说什么是信息量。 信息量是对信息的度量，单位一般用bit。 信息论之父克劳德·艾尔伍德·香农(Claude Elwood Shannon?)对信息量的定义如下： 在解释这个公式之前，先看看下面的例子。 比如一个黑箱里有2个苹果， ...
分类：
其他好文 时间：
2020-01-07 13:25:20
阅读次数：
90
1. 欧氏距离(Euclidean Distance) 欧氏距离是最容易直观理解的距离度量方法，我们小学、初中和高中接触到的两个点在空间中的距离一般都是指欧氏距离。 二维平面上点a(x1,y1)与b(x2,y2)间的欧氏距离: 三维空间点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离: ...
分类：
其他好文 时间：
2019-12-02 18:35:57
阅读次数：
109
信息熵一直在机器学习的领域兴风作浪，给出最简单最直接的方式认识信息熵 ...
分类：
其他好文 时间：
2019-12-01 00:25:38
阅读次数：
112
知道一堆词汇里各个字出现的概率pi，则对这些字的最优编码下各字的位长（也即每个字包含的信息）为： 香农公式：，知道各字的位长后，可依次给他们编码0、10、110... 这些字的平均编码长度为（也即信息量，或称信息熵）： 信息熵： 总结：信息是不确定性的度量，不确定性体现在概率分布上：概率分布越散，不 ...
分类：
其他好文 时间：
2019-11-26 10:47:02
阅读次数：
81
[toc] 决策树中涉及到了信息熵、信息增益、信息增益率、基尼系数等公式，作为相应算法(ID3、C4.5、Cart树）的衡量标准，今天就来稍微推导一下这些公式~ 信息熵的最值求解 已知集合D的信息熵的定义为 $$\operatorname{Ent}(D)= \sum_{k=1}^{ | \mathc ...
分类：
其他好文 时间：
2019-11-19 15:48:43
阅读次数：
69
