决策树

决策树是一种简单但广泛使用的分类器，它通过训练数据构建决策树，对未知的数据进行分类。决策树的每个内部节点表示在一个属性上的测试，每个分枝代表该测试的一个输出，而每个树叶结点存放着一个类标号。 
在决策树算法中，ID3基于信息增益作为属性选择的度量，C4.5基于信息增益比作为属性选择的度量，CART基于基尼指数作为属性选择的度量。

具体构建例子，可以参考博客，剪枝可以参考这篇博客

• 优点
  
  • 不需要任何领域知识或参数假设。
  • 适合高维数据。
  • 简单易于理解。
  • 短时间内处理大量数据，得到可行且效果较好的结果。
• 缺点
  
  • 对于各类别样本数量不一致数据，信息增益偏向于那些具有更多数值的特征。
  • 易于过拟合。
  • 忽略属性之间的相关性。
  • 不支持在线学习