提升树 (Boosting Trees) 提升树是以分类树或回归树为基本分类器的提升方法, 模型表示为决策树的加法模型: $$ F_M(x) = \sum_{m=0}^M f(x;\Theta_m), $$ 其中 $M$ 为树的个数, $f(x;\Theta_m)$ 表示决策树, $\Theta_m ...
分类：
其他好文 时间：
2019-06-16 00:35:56
阅读次数：
190
1、决策树概念 决策树是基于树的结构来进行决策的，这与人类的认知方法类似，例如：今天会下雨么？针对此问题我们首先会进行一系列的判断或者决策；今天阴天么，如果阴天，大概率 会下雨；如果晴天，大概率不下雨。如图1。 图1 2、文本分类 所谓文本分类，就是基于文本的特征将其划分到具体的类别当中，与决策树类 ...
分类：
其他好文 时间：
2019-06-15 20:15:18
阅读次数：
152
最近在看清华大学数据挖掘导论，图个自己复习省事，把学的东西整理在这里，也希望本菜鸡的整理对一些童鞋有帮助吧。 分类问题： 定义：给定训练集：{（x1，y1），...，（xn，yn）}，生成将任何未知对象xi映射到其类标签yi的分类器（函数）。 图示： 其经典算法： 决策树 KNN 神经网络 支持向量 ...
分类：
其他好文 时间：
2019-06-08 15:00:20
阅读次数：
96
今天假期。 但今天，也就是个星期五。为什么说上班的人都在盼望着假期？不是为了纪念谁，也不是因为庆祝谁，而在于假期本身。 好了，说说今天干了什么。今天想干点“大事”，对于才学了不到一个月 python 的我，想挑战下自己，写一写决策树。那就写一写书上的例子吧，“伦西瓜表面特征与西瓜好坏的关系。”（这我 ...
分类：
其他好文 时间：
2019-06-08 00:40:55
阅读次数：
117
一句话明晰概念：不用编程制定机器做什么，机器有能力自己学习。 三种最基础的机器学习算法：决策树、线性回归、K-means聚类。 监督与无监督学习 周志华通过敲西瓜案例有以下讲解： 监督学习是在敲西瓜听声音判断好坏过程中有懂行的人告诉你这个瓜的好坏，给不同的声音贴上了好坏瓜的标签，慢慢学习声音特征之间 ...
分类：
其他好文 时间：
2019-06-07 11:23:59
阅读次数：
95
xgboost参数 选择较高的学习速率(learning rate)。一般情况下，学习速率的值为0.1。但是，对于不同的问题，理想的学习速率有时候会在0.05到0.3之间波动。选择对应于此学习速率的理想决策树数量。XGBoost有一个很有用的函数“cv”，这个函数可以在每一次迭代中使用交叉验证，并返 ...
分类：
其他好文 时间：
2019-06-02 16:30:18
阅读次数：
294
决策树 决策树是一种强大的算法，可解释性强，对复杂数据集的拟合能力强，对数据集的前期处理（如特征缩放，集中等）要求很少。它的工作原理是，在每个节点上选取一个特征作为分类依据，并给定阈值，根据阈值来将实例归为左子树或右子数，然后对子节点进行同样的特征选取和阈值给定，直至所有节点上的实例都属于同一类别或 ...
分类：
其他好文 时间：
2019-05-24 22:19:06
阅读次数：
171
from:https://www.cnblogs.com/peizhe123/p/5086128.html GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法 ...
分类：
数据库 时间：
2019-05-23 16:38:11
阅读次数：
116
一、决策树 1.1、概述 if, else if, else,其实就就是决策树的思想。 只是这么多条件，哪个条件特征先做if，哪个条件特征后做if比较优呢？怎么准确定量选择这个标准就是决策树算法的要做的事情。 准备，补充两个对数去处公式： 1.2、信息论中的熵 熵度量了事物的不确定性，越不确定的事物 ...
分类：
其他好文 时间：
2019-05-23 16:02:47
阅读次数：
116
[TOC] 决策树 决策树简介 在数据集中度量一致性 使用递归构造决策树 使用 Matplotlib 绘制树形图 决策树简介 让我们来玩一个游戏，你现在在你的脑海里想好某个事物，你的同桌向你提问，但是只允许问你20个问题，你的回答只能是对或错，如果你的同桌在问你20个问题之前说出了你脑海里的那个事物 ...
分类：
其他好文 时间：
2019-05-23 15:50:15
阅读次数：
107
