1948年，香农在著名论文“通信的数学原理”中提出了“信息熵”的概念，解决了信息的度量问题，并且量化出信息的作用。 ? ? 香农使用了“比特”（Bit）这个概念来度量信息量。一个比特是一位二进制数，计算...
分类：
其他好文 时间：
2015-06-07 18:59:36
阅读次数：
265
决策树是一种预测模型，它由决策节点，分支和叶节点三个部分组成。决策节点代表一个样本测试，通常代表待分类样本的某个属性，在该属性上的不同测试结果代表一个分支；分支表示某个决策节点的不同取值。每个叶节点代表一种可能的分类结果。
使用训练集对决策树算法进行训练，得到一个决策树模型，利用模型对未知样本（类别未知）的类别判断时，从决策树根节点开始，从上到下搜索，直到沿某分支到达叶节点，叶节点的类别标签就是...
分类：
编程语言 时间：
2015-06-02 23:32:03
阅读次数：
336
1、J48原理 基于从上到下的策略，递归的分治策略，选择某个属性放置在根节点，为每个可能的属性值产生一个分支，将实例分成多个子集，每个子集对应一个根节点的分支，然后在每个分支上递归地重复这个过程。当所有实例有相同的分类时，停止。 问题：如何选择根节点属性，建立分支呢? 例如：weather.a...
分类：
其他好文 时间：
2015-05-23 14:03:41
阅读次数：
370
最近两天简单看了下最大熵模型，特此做简单笔记，后续继续补充。最大熵模型是自然语言处理(NLP, nature language processing)被广泛运用，比如文本分类等。主要从分为三个方面，一：熵的数学定义；二：熵数学形式化定义的来源；三：最大熵模型。
注意：这里的熵都是指信息熵。
一：熵的数学定义：
下面分别给出熵、联合熵、条件熵、相对熵、互信息的定义。
熵：如果一个随机...
分类：
其他好文 时间：
2015-05-12 00:09:14
阅读次数：
270
一、熵权法介绍熵最先由申农引入信息论，目前已经在工程技术、社会经济等领域得到了非常广泛的应用。熵权法的基本思路是根据指标变异性的大小来确定客观权重。一般来说，若某个指标的信息熵越小，表明指标值得变异程度越大，提供的信息量越多，在综合评价中所能起到的作用也越大，其权重也就越大。相反，某个指标的信息熵越...
分类：
其他好文 时间：
2015-05-11 23:29:39
阅读次数：
200
信息熵香农与1948年提出的信息论以其中的信息熵这一基本概念为基础，用来表征人们对客观事件的不确定性的度量，与物理学中的熵表征物质的混乱程度有相似之处。
当处理不确定事件时，最常用的方式就是用概率方式描述，一般假定不确定的事件A每种可能的状态都有一个概率与之对应：P(Ai)s.t.∑i=1nP(Ai)=1P(Ai)≥0P(A_i)\\ s.t.\sum_{i=1}^nP(A_i)=1\\P(A_i...
分类：
其他好文 时间：
2015-05-07 16:41:45
阅读次数：
167
就从P77开始记好了.(稍微扩容)P77排序.1.香农信息论基于比较的排序不可能突破O(nlogn)的复杂度限制.1) 比较一次可以得到一个bool量,最大信息熵为$\log_2{2}=1.0$bit2) 全排列的个数是$n!$级别的,唯一地确定一个全排列需要$O\left(\log_2{n!}\r...
分类：
其他好文 时间：
2015-05-02 06:16:01
阅读次数：
187
对于理工科学生来说，“熵”并不是一个陌生的名词。在诸如“大学物理”“热力学”和“信息论”等课程中都会有所介绍。但同时“熵”又是一个显得有点神秘的概念，看不见也摸不着。我最早是在高中物理课中听说的，大概是在介绍“热力学第二定律”时提到的。热力学第二定律的内容是：热力学过程是不可逆的——孤立系统自发地朝着热力学平衡方向──最大熵状态──演化。
然后真正的对这个名词有所理解是在学习《工程热力学》...
分类：
其他好文 时间：
2015-04-27 23:51:02
阅读次数：
255
在信息论中，熵被用来衡量一个随机变量出现的期望值。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大，熵是整个系统的平均消息量。 信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度...
分类：
其他好文 时间：
2015-04-18 21:59:40
阅读次数：
279
from math import log
#以决策为标准计算信息熵
def calcShannonEnt(dataSet):
numEntries = len(dataSet)
labelCounts = {}
for featVec in dataSet:
currentLabel = featVec[-1]
if cu...
分类：
其他好文 时间：
2015-04-09 21:56:49
阅读次数：
265
