信息增益

标签：

一：基础知识

1：个体信息量

　　-long₂^pi

2：平均信息量（熵）

　　Info(D)=-Σ_i=1...n(p_ilog₂^p_i)

　　比如我们将一个立方体A抛向空中，记落地时着地的面为f1，f1的取值为{1,2,3,4,5,6}，f1的熵entropy(f1)=-(1/6*log^(1/6)+...+1/6*log^(1/6))=-1*log^(1/6)=2.58

3：假设我们选择属性R作为分裂属性，数据集D中，R有k个不同的取值{V1,V2,...,Vk}，于是可将D根据R的值分成k组{D1,D2,...,Dk}，按R进行分裂后，将数据集D不同的类分开还需要的信息量为：

　　Info_R(D)=Σ_i=1...k(D_i/D)Info(D_i)

4：信息增益：分裂前后，两个信息量只差：

　　Gain(R)=Info(D)-Info_R(D)

二：例子

1：计算Info(D)

　　Info(D)=-Σ_i=1...n(p_ilog^p_i)=-(5/14)log^(5/14)-(9/14)log^(9/14)=-0.3571*(-1.4856)-0.6429*(-0.6373)=0.1597+0.1234=0.5305+0.4097=0.9402

2：计算Info_R(D)

　　Info_年龄(D)=(5/14)Info(D_老年)+(4/14)Info(D_中年)+(5/14)Info(D_青少年)=(5/14)(-(3/5)log^(3/5)-(2/5)log^(2/5))+(4/14)(-(4/4)log^(4/4)-(0/4)log^(0/4))+(5/14)(-(2/5)log^(2/5)-(3/5)log^(3/5))

　　　　　　　　=(5/14)(0.6*0.737+0.4*1.3219)+(4/14)(0+0)+(5/14)(0.4*1.3219+0.6*0.737)

　　　　　　　　=(5/14)(0.4422+0.52876)+0+(5/14)(0.52876+0.4422)

　　　　　　　　=0.3571*0.97096+0+0.3571*0.97096

　　　　　　　　=0.694

　　同样可以计算出

　　Info_收入层次(D)=0.911

　　Info_学生(D)=0.789

　　Info_信用等级(D)=0.892

3：计算信息增益：

　　Gain(年龄)=Info(D)-Info_年龄(D)=0.940-0.694=0.246

　　Gain(收入层次)=Info(D)-Info_收入层次(D)=0.940-0.911=0.029

　　Gain(学生)=Info(D)-Info_学生(D)=0.940-0.789=0.151

　　Gain(信用等级)=Info(D)-Info_信用等级(D)=0.940-0.892=0.058

信息增益

标签：

原文地址：http://www.cnblogs.com/javaleon/p/4306365.html