熵（entropy）、KL散度（Kullback-Leibler (KL) divergence）和交叉熵（cross-entropy）在机器学习的很多地方会用到。比如在决策树模型使用信息增益来选择一个最佳的划分，使得熵下降最大；深度学习模型最后一层使用 softmax 激活函数后，我们也常使用交叉... ...
分类：
其他好文 时间：
2018-09-27 22:53:39
阅读次数：
211
引言 在这篇文章中，我们将探讨决策树模型的最重要参数，以及它们如何防止过度拟合和欠拟合，并且将尽可能少地进行特征工程。我们将使用来自kaggle的泰坦尼克号数据。 导入数据 查看缺失值 把Cabin’, ‘Name’ and ‘Ticket’移除，并且填充缺失值，并处理分类型变量。 25%用作测试集 ...
分类：
其他好文 时间：
2018-09-14 01:04:26
阅读次数：
290
http://www.cnblogs.com/wanglei5205/p/8579244.html 常规参数 模型参数 学习任务参数 ...
分类：
其他好文 时间：
2018-09-10 21:53:50
阅读次数：
3493
http://blog.itpub.net/31542119/viewspace-2199549/ XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的 ...
分类：
其他好文 时间：
2018-08-11 12:28:08
阅读次数：
158
原文：https://www.cnblogs.com/fionacai/p/5894142.html 首先，在了解树模型之前，自然想到树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻 ...
分类：
其他好文 时间：
2018-07-20 11:26:22
阅读次数：
206
决策树是一种基本的分类和回归模型，也就是说既可以用于分类也可以用于回归。这里以分类为例。 决策树模型一种描述对实例依据特征进行分类的树形结构，它包含一个根节点，若干个内部节点和若干个叶节点。其中叶节点对应的是决策结果，也可以说是一个类，内部节点表示的是一个属性和特征。 决策树的学习算法包含三个步骤： ...
分类：
编程语言 时间：
2018-07-03 11:46:29
阅读次数：
111
这两个算法都是集成学习了分类回归树模型，先讨论是怎么集成的。集成的方法是GradientBoosting比如我要拟合一个数据如下：第一次建了一个模型如上图中的折线，效果不是很理想，然后要新建一个模型来综合一下结果，那么第二个模型如何建，我们将实际目标值和我们第一个模型的预测的差值作为第二次模型的目标值如下图再建一个模型：然后不断地新建新的模型，过程如下：最后就能集成这些模型不断提升预测的精度。步骤
分类：
其他好文 时间：
2018-06-22 13:15:22
阅读次数：
171
树模型 应用场景：1.分类 2.回归 分类应用中的树模型等价于if-then规则的集合or定义在特征空间与类空间的条件概率分布，可解释性强 概念： 1. 熵：表示随机变量的不确定程度，其数值越大，则随机变量的不确定性也越大 2.条件熵：表示在已知随机变量X的条件下随机变量Y的不确定性，定义为X已知时 ...
分类：
其他好文 时间：
2018-06-15 12:58:10
阅读次数：
159
对于机器学习模型，我们把他们分成基于树的模型和非基于树的模型，因为在处理他们的特征需要不同的方法。 1.数值型特征 如果一个特征的值特别大的话，那么会使得其在非树模型上占有很大的比例，所以我们通常对其做归一化处理。 Outliers：不管是对特征还是标签，异常数据对模型的鲁棒性都会带来较大的打击，所 ...
分类：
其他好文 时间：
2018-06-14 23:15:59
阅读次数：
250
1、使用示例 2、树模型参数：【很多参数都是用来限制树过于庞大，即担心其过拟合】 # 1.criterion gini or entropy：用什么作为衡量标准 ( 熵值或者Gini系数 ）。 # 2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征 ...
分类：
其他好文 时间：
2018-06-10 15:07:28
阅读次数：
310
