一、基本概念 GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。 GBDT通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。 弱分类器一般会选择为CART TREE（也就是分类回归树）。 每一轮预测和实际值有残差，下 ...
分类：
其他好文 时间：
2020-03-12 17:13:44
阅读次数：
71
首先剪枝（pruning）的目的是为了避免决策树模型的过拟合。因为决策树算法在学习的过程中为了尽可能的正确的分类训练样本，不停地对结点进行划分，因此这会导致整棵树的分支过多，也就导致了过拟合。决策树的剪枝策略最基本的有两种：预剪枝（pre-pruning）和后剪枝（post-pruning）： 预剪 ...
分类：
其他好文 时间：
2020-03-12 14:43:02
阅读次数：
72
针对当前很多资料对常用决策树归纳程度不够，且很多细节问题没有覆盖到的情况，本文尽量通过作者自己的理解进行了阐述，从自己对决策树认识加深的过程中提出问题并做出解答。 ...
分类：
其他好文 时间：
2020-03-11 10:57:11
阅读次数：
61
介绍 在该节中我们将对用户产生的真实评论数据进行情绪分析。 知识点 文本分词 Word2Vec 方法 决策树分类 本文所涉及到情绪分析，又称为文本情绪分析，这是自然语言处理和文本挖掘过程中涉及到的一块内容。简而言之，我们通过算法去判断一段文本、评论的情绪偏向，从而快速地了解表达这段文本的原作者的主观 ...
分类：
编程语言 时间：
2020-03-06 12:54:09
阅读次数：
83
数据科学职位的典型面试过程会有很多轮，其中通常会涉及理论概念，目的是确定应聘者是否了解机器学习的基础知识。 在这篇文章中，我想总结一下我所有的面试经历（面试or被面试）并提出了160多个数据科学理论问题的清单。 其中包括以下主题： 线性回归 模型验证 分类和逻辑回归 正则化 决策树 随机森林 GBD ...
分类：
其他好文 时间：
2020-03-06 11:23:59
阅读次数：
95
一、概念 CART全称叫Classification and Regression Tree。首先要强调的是CART假设决策树是二叉树，内部结点特征的取值只有“是”和“否”，左分支是取值为“是”的分支，有分支则相反。这样的决策树等价于递归地二分每个特征。 二、CART生成 决策树的生成就是递归地构建 ...
分类：
其他好文 时间：
2020-03-05 19:18:12
阅读次数：
343
1.很重要的编程思想，分解问题，重组代码 2.做下图这道题的时候，总想着一步解决，在一个循环里解决所有问题，应该是拆分分支路线，在主路线重组分支路线代码，在合并 ...
分类：
其他好文 时间：
2020-03-05 16:41:24
阅读次数：
58
机器学习-决策树的基本思想 决策树算法是最早的机器学习算法之一。 算法框架 1.决策树主函数 各种决策树的主函数都大同小异，本质上是一个递归函数。该函数的主要功能是按照某种规则生长出决策树的各个分支节点，并根据终止条件结束算法。一般来讲，主函数需要完成如下几个功能。 （1）输入需要分类的数据集和类别 ...
分类：
其他好文 时间：
2020-03-05 01:27:16
阅读次数：
232
2.1 经验误差与过拟合 错误率：错分样本的占比 精度：分对样本的占比，与错误率是互补的。 误差：样本真实输出与预测输出之间的差异。学习器在训练集上的误差称为训练误差或经验误差，在新样本上的误差称为泛化误差。 由于事先并不知道新样本的特征，我们只能努力使经验误差最小化； 很多时候虽然能在训练集上做到 ...
分类：
其他好文 时间：
2020-03-05 01:17:02
阅读次数：
111
1、概述 随机森林是决策树的集合。随机森林是用于分类和回归的最成功的机器学习模型之一。他们结合了许多决策树，以减少过度拟合的风险。像决策树一样，随机森林处理分类特征，扩展到多类分类设置，不需要特征缩放，并且能够捕获非线性和特征交互。 spark.mllib支持使用连续和分类功能对二元和多类分类以及进 ...
分类：
其他好文 时间：
2020-03-04 12:28:12
阅读次数：
105
