码迷,mamicode.com
首页 > 其他好文 > 详细

决策树参数

时间:2021-01-06 12:02:48      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:版本   sqrt   效率   balance   阈值   sam   过拟合   dom   nbsp   

技术图片

 

 

1、criterion: 特征选取标准。
默认:gini。
可选gini(基尼系数)或者entropy(信息增益)。

1.1  选择entropy,则是ID3或C4.5算法。
ID3算法原理:
a 计算训练集所有样本的信息熵。
b 计算每一特征分类后的信息增益。
c 选择信息增益最大的特征进行分类,得到子节点。
d 在还未被选择的特征中迭代b和c,直到无特征可分或信息增益已经无法达到要求的标准时,算法终止。

C4.5算法原理:
C4.5是在ID3的算法基础上,采用信息增益率来做为特征选择,通过增加类别的惩罚因子,规避了ID3中类别越多信息增益越大的问题,同时也可以对连续变量通过均值离散化的方式,解决了ID3算法无法处理连续变量的问题。过程和ID3一样。

1.2通常选择gini,则是CART算法。
我简单描述一下CART算法原理:
CART不再通过信息熵的方式选取最优划分特征,而是采用基尼系数,也叫基尼不纯度,两者衡量信息量的作用相当,但是基尼系数由于没有对数运算,可大大减少计算开销。
当然CART相对于ID3,C4.5最大的优势就是可以处理回归问题。CART算法处理分类问题时,以叶子节点上样本投票预测类别,处理回归问题时,以叶子节点的样本均值作为预测值。
CART算法的过程如下:
a 计算训练集所有样本的基尼系数。
b 计算某一特征下每一属性划分后左右两边的基尼系数,找到基尼系数和最小的划分属性
c 将每一个特征均按b中的方法计算,得到每一个特征最佳的划分属性。
d 对比c中每一个特征的最优划分属性下的基尼系数和,最小的就是最优的划分特征。
e 按最优的特征及最优属性划分,得到子节点。
f 在还未被选择的特征中迭代b-e,直到无特征可分或信息增益率已经无法达到要求的标准时,算法终止。

1.3 两种算法差异不大对准确率无影响,信息墒的运行效率低一点,因为它有对数运算.一般说使用默认的基尼系数”gini”就可以了,即CART算法。

2. splitter: 特征划分标准
可选best或random,默认为best。
best是在特征的全部划分点中找到最优的划分点,比如基于信息增益分类时,则选择信息增益最大的特征点。
random是在随机选择的部分划分点找到局部最优的划分点,具体是如何随机选择的部分划分点的,我也不清楚,这个需要查看源码才知道。如果你看到了这篇文章,恰好又知道其中原理,不妨留言交流下。
一般在样本量不大的时候,选择best,样本量过大,用random。

3.max_depth:决策树最大深度
默认为None。
一般来说,数据少或者特征少的时候可以不管这个值。如果模型样本量多,特征也多的情况下,推荐限制这个最大深度,具体的取值取决于数据的分布。常用的可以取值10-100之间。常用来解决过拟合

4. min_samples_split:内部节点再划分所需最小样本数
默认为2。
意义:如果节点上的样本已经低于这个值,则不会再寻找最优的划分点进行划分,且以该结点作为叶子节点。样本过多的情况下,可以设定一个阈值,具体可根据业务需求和数据量来定。可以输入一个具体的值(int),或小于1的数(float类型,会根据样本量计算百分比)。

5.min_samples_leaf:叶子节点所需最少样本数
默认为1。
意义:如果达不到这个阈值,则同一父节点的所有叶子节点均被剪枝,这是一个防止过拟合的参数。可以输入一个具体的值(int),或小于1的数(float类型,会根据样本量计算百分比)。

6.min_weight_fraction_leaf:叶子节点所有样本权重和
默认为0。
意义:如果低于阈值,则会和兄弟节点一起被剪枝,默认是0,就是不考虑权重问题。这个一般在样本的分布类别偏差很大,或有较多缺失值的情况下会考虑,这时我们就要注意这个值了。

7.max_features:划分考虑最大特征数
默认为None。
意义:不输入则默认全部特征,可以选 log2N,sqrt(N),auto或者是小于1的浮点数(百分比)或整数(具体数量的特征)。如果特征特别多时,比如大于50,可以考虑选择auto来控制决策树的生成时间。

8.random_state:随机数生成种子
默认为:None。
意义:设置随机数生成种子是为了保证每次随机生成的数是一致的(即使是随机的);如果不设置,那么每次生成的随机数都是不同的。

9.max_leaf_nodes:最大叶子节点数
默认为:None。
意义:防止过拟合,默认不限制,如果设定了阈值,那么会在阈值范围内得到最优的决策树。
如果特征不多,可以不考虑这个值,但是如果特征分成多的话,可以加以限制,具体的值可以通过交叉验证得到。

10.min_impurity_decrease:节点划分最小不纯度
默认为:0。
意义:这个值限制了决策树的增长,如果某节点的不纯度(基尼系数,信息增益)小于这个阈值,则该节点不再生成子节点。
sklearn 0.19.1版本之前叫 min_impurity_split。

11.class_weight:类别权重
默认为:None。
意义:在样本有较大缺失值,或类别偏差较大时可选,防止决策树向类别过大的样本倾斜。可设定None或者balanced,后者会自动根据样本的数量分布计算权重,样本数少则权重高,与min_weight_fraction_leaf对应。
不适用于回归树 sklearn.tree.DecisionTreeRegressor

12.Presort:是否排序
默认为:False。

模型参数选择的几项建议:
1.样本少数量但是样本特征非常多的时候,决策树很容易过拟合,在拟合决策树模型前,推荐先做维度规约,比如主成分分析(PCA),特征选择(Losso)。这样特征的维度会大大减小。再来拟合决策树模型效果会好。
在训练模型先,注意观察样本的类别情况(主要指分类树),如果类别分布非常不均匀,就要考虑用class_weight来限制模型过于偏向样本多的类别。

决策树参数

标签:版本   sqrt   效率   balance   阈值   sam   过拟合   dom   nbsp   

原文地址:https://www.cnblogs.com/celine227/p/14225044.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!