ID3算法缺点 它一般会优先选择有较多属性值的Feature，因为属性值多的特征会有相对较大的信息增益，信息增益反映的是，在给定一个条件以后，不确定性减少的程度， 这必然是分得越细的数据集确定性更高，也就是条件熵越小，信息增益越大。为了解决这个问题，C4.5就应运而生，它采用信息增益率来作为选择分支 ...
分类：
编程语言 时间：
2020-06-17 20:38:48
阅读次数：
68
ID3，C4.5算法缺点 ID3决策树可以有多个分支，但是不能处理特征值为连续的情况。 在ID3中，每次根据“最大信息熵增益”选取当前最佳的特征来分割数据，并按照该特征的所有取值来切分， 也就是说如果一个特征有4种取值，数据将被切分4份，一旦按某特征切分后，该特征在之后的算法执行中， 将不再起作用， ...
分类：
编程语言 时间：
2020-06-17 20:29:17
阅读次数：
57
熵权法 熵值法的主要目的是对指标体系进行赋权 熵越大说明系统越混乱，携带的信息越少，权重越小；熵越小说明系统越有序，携带的信息越多，权重越大。 熵值法是一种客观赋权方法，，借鉴了信息熵思想，它通过计算指标的信息熵，根据指标的相对变化程度对系统整体的影响来决定指标的权重，即根据各个指标标志值的差异程度 ...
分类：
其他好文 时间：
2020-06-12 12:33:14
阅读次数：
234
决策树比较常用的算法模型，可以做分类也可以回归 决策树算法重点 对特征的选择，可以使用熵，也可以使用基尼系数，通过信息增益或者信息增益率选择最好的特征 决策树的剪枝，有两种策略，一种是预剪枝，一种是后剪枝，预剪枝可以通过限制树的高度，叶子节点个数，信息增益等进行，使得树边建立边剪枝，后剪枝通过增加损 ...
分类：
编程语言 时间：
2020-06-09 11:23:21
阅读次数：
76
keras-交叉熵的介绍和应用 1.载入数据以及预处理 import numpy as np from keras.datasets import mnist from keras.utils import np_utils from keras.models import Sequential f ...
分类：
其他好文 时间：
2020-06-07 22:57:45
阅读次数：
93
https://wanghuaishi.wordpress.com/2017/02/21/%E5%9B%BE%E8%A7%A3%E6%9C%80%E5%A4%A7%E7%86%B5%E5%8E%9F%E7%90%86%EF%BC%88the-maximum-entropy-principle%EF% ...
分类：
其他好文 时间：
2020-05-31 21:42:52
阅读次数：
79
https://zhuanlan.zhihu.com/p/85374168 基尼指数gini index本身是一个概念，它可以用来描述集合里面分类的混乱程度，和信息熵的意义非常接近，用泰勒展开可以得到是信息熵的近似值。 它可以用来描述很多个分类的集合，不光是2分类。 但是如果应用在CART树上，因为 ...
分类：
其他好文 时间：
2020-05-26 15:04:01
阅读次数：
58
1、最大熵模型 最大熵模型描述的是这么一种情况，即在有约束条件的情况下，如何得到最好的模型。我们先来考虑如果没有约束的条件下，如何获得最好的模型，举个栗子，比如一个骰子，有6个面，转一次，求每个面的概率，根据经验，每个面的概率是1/6，这其实就是我们让整个系统熵最大。 那么什么是在有约束条件下概率最 ...
分类：
其他好文 时间：
2020-05-23 13:16:03
阅读次数：
54
熵，条件熵，相对熵，互信息的相关定义及公式推导 熵是随机变量不确定性的度量，不确定性越大，熵值越大，若随机变量退化成定值，熵为0，均匀分布是最不确定的分布。熵其实定义了一个函数(概率分布函数)到一个值(信息熵)的映射。熵的定义公式如下： 在经典熵的定义中，底数是2，此时熵的单位是bit，若底数是e， ...
分类：
其他好文 时间：
2020-05-09 21:45:35
阅读次数：
136
熵权法求指标权重原理详细步骤（包括指标数据正向标准化处理代码!!!) ...
分类：
其他好文 时间：
2020-05-06 13:33:13
阅读次数：
968
