决策树基本原理

标签：原理   nbsp   依据   复杂   判断   基本原理   好的   优点   分类   

原理：

要对数据进行分类，涉及到通过选取什么样的特征对数据进行分类，比如将柚子和西瓜进行分类，可以选取（大小、颜色、甜度等特征）

决策树的功能就是判断使用哪个特征，然后选取他认为最好的特征对数据进行分类。

那么他是如何选取最好的特征呢？

就是通过信息熵来选取特征，求以每个特征来分类对应的信息熵（香农熵），选取信息熵最大的特征来作为分类依据。

不一定一次就能把数据进行分类（比如橘子和柠檬），可能需要不断地求当前数据的信息熵然后分类迭代下去。

优点：

1、计算复杂度不高

2、结果易于理解

3、对中间值确实不敏感

缺点：

可能会产生过度匹配问题

决策树基本原理

标签：原理   nbsp   依据   复杂   判断   基本原理   好的   优点   分类   

原文地址：https://www.cnblogs.com/jaysonteng/p/12497527.html