一、信息熵 百科：信息熵 衡量信息的不确定度； 1）理论提出 信息论之父 C. E. Shannon 指出：任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。 信息论之父 C. E. Shannon 指出：任何信息都存在冗余，冗余大小与信息中每个符号（数字 ...
分类：
其他好文 时间：
2018-08-14 22:54:03
阅读次数：
1254
一、基础理解 1）公式 2）实例计算基尼系数 3 种情况计算基尼系数： 基尼系数的性质与信息熵一样：度量随机变量的不确定度的大小； 3）只有两种类别的数据集 二、使用基尼系数划分节点数据集 1）格式 from sklearn.tree import DecisionTreeClassifier dt ...
分类：
其他好文 时间：
2018-08-14 22:49:50
阅读次数：
16223
信息熵： （看之前可以了解一下信息熵的创始人：克劳德·艾尔伍德·香农（Claude Elwood Shannon ，1916年4月30日—2001年2月24日）） 先给出信息熵的公式： 其中：𝑝(𝑥𝑖)代表随机事件𝑥𝑖的概率。 下面逐步介绍信息熵公式来源！ 首先了解一下信息量：信息量是对信 ...
分类：
其他好文 时间：
2018-08-12 15:37:43
阅读次数：
205
一.交叉熵损失函数形式 现在给出三种交叉熵损失函数的形式，来思考下分别表示的的什么含义。 --式子1 --式子2 --式子3 解释下符号，m为样本的个数，C为类别个数。上面三个式子都可以作为神经网络的损失函数作为训练，那么区别是什么？ ■1》式子1，用于那些类别之间互斥(如：一张图片中只能保护猫或者 ...
分类：
其他好文 时间：
2018-08-11 20:04:14
阅读次数：
308
熵值法是一种客观赋权法，是指根据各项指标观测值所提供的信息的大小来确定指标权重。在信息论中，熵是对不确定性信息的一种度量。信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性就越大，熵也越大。 熵大 越不确定 信息量小 影响小 权重小 熵小 越确定 信息量大 影响大 权重大 熵大 越不确定 ...
分类：
其他好文 时间：
2018-08-05 22:29:06
阅读次数：
1628
1、认识决策树： 决策树思想非常朴素，程序设计中的条件就是if-then结构，最早的决策树就是利用这类结构分割数据的一中分类学习方法。 2、信息论基础-银行贷款分析 香农在1948年提出信息论，单位为比特； 信息熵：可以理解为代价；信息和消除不确定性是相联系的； 信息增益：当得知特征x的信息而使得类 ...
分类：
编程语言 时间：
2018-07-29 22:21:39
阅读次数：
553
1.什么是决策树： 决策树是以树状结构表示数据分类的结果 ? 非叶子结点代表测试的条件。 分支代表测试的结果 2.如何构建决策树： ´1.信息熵（informationentropy）：是度量样本集合纯度最常用的一种指标。 ? 2.基尼系数（gini）：是度量样本集合不确定性指标。（基尼指数与熵可近 ...
分类：
其他好文 时间：
2018-07-19 13:57:41
阅读次数：
510
变分法 === 函数$y(x)$对于任意给定的输入变量$x$，给出输出值$y$；类似地，定义关于函数的函数$F[y]$，亦称泛函，给定函数$y$，输出值为$F$。熵$\text{H}[x]$也是泛函的一种，它定义在概率密度函数$p(x)$上，可等价记为$\text{H}[p]$。 泛函中变分法类似于 ...
分类：
其他好文 时间：
2018-07-17 12:39:13
阅读次数：
173
原来交叉熵还有一个tempature，这个tempature有如下的定义： $$ \( q_i=\frac{e^{z_i/T}}{\sum_j{e^{z_j/T}}} )\ $$ 其中T就是tempature，一般这个T取值就是1,如果提高： 也就是 Using a higher value for ...
分类：
Web程序 时间：
2018-07-11 23:28:28
阅读次数：
267
