一 对数回归 全称为对数几率回归，其它文献也称为 线性回归。 虽然称为回归，但实际是分类算法。 本质是广义线性模型。通过sigmoid函数（联系函数），将回归模型的预测值与分类的真实标记联系起来。 只适用于二分类？ 多分类情况 采用 OvO或者OvR策略解决。 类别不平衡问题 采用 再缩放 （res ...
分类：
其他好文 时间：
2020-06-13 17:10:07
阅读次数：
99
决策树比较常用的算法模型，可以做分类也可以回归 决策树算法重点 对特征的选择，可以使用熵，也可以使用基尼系数，通过信息增益或者信息增益率选择最好的特征 决策树的剪枝，有两种策略，一种是预剪枝，一种是后剪枝，预剪枝可以通过限制树的高度，叶子节点个数，信息增益等进行，使得树边建立边剪枝，后剪枝通过增加损 ...
分类：
编程语言 时间：
2020-06-09 11:23:21
阅读次数：
76
相关概念： 剪枝：如果有特征对决策没有很大的帮助，那么可以进行预剪枝或后剪枝操作。（对决策树减少节点的形象说法）。 不同算法信息指标： ①信息增益（ID3算法）： 简单易懂，适合大部分场景； 但是因为分割越细错分率越低，效果越好，所以存在分割太细造成对训练数据的过拟合问题，使得对测试数据的泛化效果差 ...
分类：
其他好文 时间：
2020-04-30 21:43:43
阅读次数：
81
基本流程 决策树是通过分次判断样本属性来进行划分样本类别的机器学习模型。每个树的结点选择一个最优属性来进行样本的分流，最终将样本类别划分出来。 决策树的关键就是分流时最优属性$a$的选择。使用所谓信息增益$Gain(D,a)$来判别不同属性的划分性能，即划分前样本类别的信息熵，减去划分后样本类别的平 ...
分类：
其他好文 时间：
2020-04-30 21:26:13
阅读次数：
64
1 列出几种文本特征提取算法 答：文档频率、信息增益、互信息、X^2统计、TF-IDF (引用自:https://www.cnblogs.com/jiashun/p/CrossEntropyLoss.html) 信息: 由于概率I 是一个）0至1的值，所以当事件发生的概率越大时，信息量越小。 相对熵 ...
分类：
编程语言 时间：
2020-03-14 18:22:39
阅读次数：
77
首先剪枝（pruning）的目的是为了避免决策树模型的过拟合。因为决策树算法在学习的过程中为了尽可能的正确的分类训练样本，不停地对结点进行划分，因此这会导致整棵树的分支过多，也就导致了过拟合。决策树的剪枝策略最基本的有两种：预剪枝（pre-pruning）和后剪枝（post-pruning）： 预剪 ...
分类：
其他好文 时间：
2020-03-12 14:43:02
阅读次数：
72
[toc] 1 比特化(Bits) 假设现在随机变量X具有m个值，分别为: V~1~,V~2~,....,V~m~；并且各个值出现的概率: P(X=V1)=p1,P(X=V2)=p2, P(X=V3)=p3 .....P(X=Vm)=pm 可以使用这些变量的期望来表示每个变量需要多少个比特位来描述信 ...
分类：
其他好文 时间：
2020-01-02 13:04:06
阅读次数：
176
决策树算法 如何能够基于既有的数据来进行分类和回归？决策树是解决这类问题的机器学习模型。 解决思路是：通过样本特征的三个数字特征：1）满足特征值的样本数量；2）1）样本的分类各自数量有多该少；3）总的样本数量，来作为input参数，通过构建/选择的模型就计算出来该特征的指标，对于ID3而是信息增益，... ...
分类：
其他好文 时间：
2019-12-26 21:11:21
阅读次数：
98
决策树的学习通常包含三个步骤：特征选择、树的生成、树的剪枝。决策树的生成采用启发式的方法，只考虑局部最优，相对地，决策树的剪枝则考虑全局最优 特征选择 信息增益 随机变量$X$的熵定义为： $$H(X)= \sum \limits_{i}p_i\log p_i$$ 熵越大，不确定性越大。从定义可验证 ...
分类：
其他好文 时间：
2019-11-24 15:58:13
阅读次数：
80
