<PY>计算信息熵

标签：

#python3  calculate Shannon Entropy
from math import log2
def calcShannonEnt(dataSet):
    length,dataDict=float(len(dataSet)),{}
    for data in dataSet:
        try:dataDict[data]+=1
        except:dataDict[data]=1
    return sum([-d/length*log2(d/length) for d in list(dataDict.values())])

#print(calcShannonEnt(['A','B','C','D','A']))

贝尔实验室和MIT有很多人将香农和爱因斯坦相提并论，而其他人则认为这种对比是不公平的------对香农是不公平的。

<PY>计算信息熵

标签：

原文地址：http://blog.csdn.net/awsxsa/article/details/48089697