决策树算法原理(ID3，C4.5) 决策树算法原理(CART分类树) CART回归树 决策树的剪枝是通过极小化决策树整体的损失函数。(决策树的生成只考虑局部最优，决策树的剪枝考虑全局最优) 设树T的叶节点为 t，个数为 |T|，该叶节点有 Nt 个样本点，其中 k 类的样本点有 Ntk 个，k = ...
分类：
其他好文 时间：
2019-04-24 20:54:18
阅读次数：
212
目录 简介 决策树简单用法 决策树算法检测P0P3爆破 决策树算法检测FTP爆破 简介 决策树和随机森林算法是最常见的分类算法； 决策树，判断的逻辑很多时候和人的思维非常接近。 随机森林算法，利用多棵决策树对样本进行训练并预测的一种分类器，并且其输出的类别是由个别决策树输出的类别的众数决定。 决策树 ...
分类：
编程语言 时间：
2019-04-15 19:53:29
阅读次数：
226
决策树模型 决策树(DecisionTree, DT)是一种常见的用于分类和回归的非参数监督学习方法，目标是创建一个模型，通过从数 据特性中推导出简单的决策规则来预测目标变量的值。决策树模型的优点在于：1，简单容易理解，数据结构可以可视化表达。2，需要很少的数据准备，其他技术通常需 要数据标准化，需 ...
分类：
其他好文 时间：
2019-04-10 12:04:10
阅读次数：
125
转自：https://github.com/datawhalechina/pumpkin-book https://mp.weixin.qq.com/s/FcwgjS4FXfGJPZEQEz3cVw 南瓜书PumpkinBook 周志华老师的《机器学习》（西瓜书）是机器学习领域的经典入门教材之一，周 ...
分类：
其他好文 时间：
2019-04-09 13:54:37
阅读次数：
182
Sort a linked list in O(n log n) time using constant space complexity. 这道题目非常简短的一句话。给链表排序，看到nlogn。我们能够来简单复习一下排序。首先说一下这个nlogn的时间复杂度（依据决策树我们能够得出这个界限）。是基 ...
分类：
其他好文 时间：
2019-04-07 16:57:10
阅读次数：
126
首先明确一点，gbdt 无论用于分类还是回归一直都是使用的CART 回归树。不会因为我们所选择的任务是分类任务就选用分类树，这里面的核心是因为gbdt 每轮的训练是在上一轮的训练的残差基础之上进行训练的。这里的残差就是当前模型的负梯度值 。这个要求每轮迭代的时候，弱分类器的输出的结果相减是有意义的。 ...
分类：
其他好文 时间：
2019-04-06 17:04:06
阅读次数：
106
0.决策树 决策树是一种树型结构，其中每个内部节结点表示在一个属性上的测试，每一个分支代表一个测试输出，每个叶结点代表一种类别。 决策树学习是以实例为基础的归纳学习 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树。到叶子节点的处的熵值为零，此时每个叶结点中的 ...
分类：
其他好文 时间：
2019-04-04 21:52:33
阅读次数：
1128
样本选自周志华老师的西瓜书 样本： 将上面的样本制作成为一个CSV文件，保存的编码为utf8，文中保存在/home/jsj/datetest/下名字wm20.csv 需要导入的文件： 1）导入文件： 这段代码的运行结果： <_csv.reader object at 0x7fa77d171198> ...
分类：
其他好文 时间：
2019-03-30 13:28:04
阅读次数：
160
<机器学习基础> 逻辑回归，SVM，决策树 1、逻辑回归和SVM的区别是什么？各适用于解决什么问题？ https://www.zhihu.com/question/24904422 2、Linear SVM 和 线性回归 有什么异同？ 答案：https://www.zhihu.com/questio ...
分类：
编程语言 时间：
2019-03-25 17:55:13
阅读次数：
232
