id3 信息增益
c4.5 信息增益比
CART 基尼指数
参考
优缺点： 决策树算法原理 (上) 决策树算法原理 (下)
简略介绍： [Machine Learning & Algorithm] 决策树与迭代决策树（GBDT）
1.熵的概念
首先，我们需要熟悉信息论中熵的概念。熵度量了事物的不确定性，越不确定的事物，它的熵就越大。具体的，随机变量 X 的熵的表达式如下：
熟悉了一个变量 X 的熵，很容易推广到多个个变量的联合熵，这里给出两个变量 X 和 Y 的联合熵表达式：
有了联合熵，又可以得到条件熵的表达式 H(X|Y)，条件熵类似于条件概率, 它度量了我们的 X 在知道 Y 以后剩下的不确定性。表达式如下：
