K均值聚类--利用k-means算法分析NBA近四年球队实力

标签：感受   border   兴趣   技术   接下来   表示   全球   映射   学习方法   

分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。聚类属于无监督学习，相比于分类，聚类不依赖预定义的类和类标号的训练实例。本文首先介绍聚类的基础——距离与相异度，然后介绍一种常见的聚类算法——k-means算法，并利用k-means算法分析NBA近四年球队实力。因为本人比较喜欢观看NBA比赛，所以用这个当做例子了，通过这个例子大家可以用到各种实际的生活和生产环境中。
在正式讨论聚类前，我们要先弄清楚一个问题：如何定量计算两个可比较元素间的相异度。用通俗的话说，相异度就是两个东西差别有多大，例如人类与章鱼的相异度明显大于人类与黑猩猩的相异度，这是能我们直观感受到的。但是，计算机没有这种直观感受能力，我们必须对相异度在数学上进行定量定义。
设，其中X，Y是两个元素项，各自具有n个可度量特征属性，那么X和Y的相异度定义为：，其中R为实数域。也就是说相异度是两个元素对实数域的一个映射，所映射的实数定量表示两个元素的相异度。下面介绍不同类型变量相异度计算方法：
1.标量
标量也就是无方向意义的数字，也叫标度变量。现在先考虑元素的所有特征属性都是标量的情况。例如，计算X={2,1,102}和Y={1,3,2}的相异度。一种很自然的想法是用两者的欧几里得距离来作为相异度，欧几里得距离的定义如下：
      
       其意义就是两个元素在欧氏空间中的集合距离，因为其直观易懂且可解释性强，被广泛用于标识两个标量元素的相异度。将上面两个示例数据代入公式，可得两者的欧氏距离为：
      
      除欧氏距离外，常用作度量标量相异度的还有曼哈顿距离和闵可夫斯基距离，两者定义如下：
      曼哈顿距离：
      闵可夫斯基距离：
      欧氏距离和曼哈顿距离可以看做是闵可夫斯基距离在p=2和p=1下的特例。另外这三种距离都可以加权，这个很容易理解，不再赘述。
      下面要说一下标量的规格化问题。上面这样计算相异度的方式有一点问题，就是取值范围大的属性对距离的影响高于取值范围小的属性。例如上述例子中第三个属性的取值跨度远大于前两个，这样不利于真实反映真实的相异度，为了解决这个问题，一般要对属性值进行规格化。所谓规格化就是将各个属性值按比例映射到相同的取值区间，这样是为了平衡各个属性对距离的影响。通常将各个属性均映射到[0,1]区间，映射公式为：
      
      其中max(ai)和min(ai)表示所有元素项中第i个属性的最大值和最小值。例如，将示例中的元素规格化到[0,1]区间后，就变成了X’={1,0,1}，Y’={0,1,0}，重新计算欧氏距离约为1.732。
2.二次变量
所谓二元变量是只能取0和1两种值变量，有点类似布尔值，通常用来标识是或不是这种二值属性。对于二元变量，上一节提到的距离不能很好标识其相异度，我们需要一种更适合的标识。一种常用的方法是用元素相同序位同值属性的比例来标识其相异度。
        设有X={1,0,0,0,1,0,1,1}，Y={0,0,0,1,1,1,1,1}，可以看到，两个元素第2、3、5、7和8个属性取值相同，而第1、4和6个取值不同，那么相异度可以标识为3/8=0.375。一般的，对于二元变量，相异度可用“取值不同的同位属性数/单个元素的属性位数”标识。
     上面所说的相异度应该叫做对称二元相异度。现实中还有一种情况，就是我们只关心两者都取1的情况，而认为两者都取0的属性并不意味着两者更相似。例如在根据病情对病人聚类时，如果两个人都患有肺癌，我们认为两个人增强了相似度，但如果两个人都没患肺癌，并不觉得这加强了两人的相似性，在这种情况下，改用“取值不同的同位属性数/(单个元素的属性位数-同取0的位数)”来标识相异度，这叫做非对称二元相异度。如果用1减去非对称二元相异度，则得到非对称二元相似度，也叫Jaccard系数，是一个非常重要的概念。
3.分类变量
分类变量是二元变量的推广，类似于程序中的枚举变量，但各个值没有数字或序数意义，如颜色、民族等等，对于分类变量，用“取值不同的同位属性数/单个元素的全部属性数”来标识其相异度。
4.序数变量
序数变量是具有序数意义的分类变量，通常可以按照一定顺序意义排列，如冠军、亚军和季军。对于序数变量，一般为每个值分配一个数，叫做这个值的秩，然后以秩代替原值当做标量属性计算相异度。
5.向量
对于向量，由于它不仅有大小而且有方向，所以闵可夫斯基距离不是度量其相异度的好办法，一种流行的做法是用两个向量的余弦度量，其度量公式为：
      
其中||X||表示X的欧几里得范数。要注意，余弦度量度量的不是两者的相异度，而是相似度！
        讨论完相异度,我们可以正式定义聚类问题,所谓聚类问题，就是给定一个元素集合D，其中每个元素具有n个可观察属性，使用某种算法将D划分成k个子集，要求每个子集内部的元素之间相异度尽可能低，而不同子集的元素相异度尽可能高。其中每个子集叫做一个簇。与分类不同，分类是示例式学习，要求分类前明确各个类别，并断言每个元素映射到一个类别，而聚类是观察式学习，在聚类前可以不知道类别甚至不给定类别数量，是无监督学习的一种。目前聚类广泛应用于统计学、生物学、数据库技术和市场营销等领域，相应的算法也非常的多。本文仅介绍一种最简单的聚类算法——k均值（k-means）算法。

举个栗子:

我们先弄清楚k-means的计算过程:

1.从集合D中随机选取k个元素，作为k个簇的各自的中心;

2.分别计算剩下的元素到k个簇中心的相异度,将这些元素分别划归到相异度最低的簇;

3.根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有的元素各自维度的算术平均数；

4.将D中全部元素按照新的中心重新聚类；

5.重复第4步，直到聚类结果不再变化；

6.将结果输出。

下面列表是NBA 近四年的常规赛和季后赛战绩（因为16/17季后赛还没打完，所以该数据暂不收录）：

下面对数据进行[0,1]规范化,下面是规范化后的数据：

接着用k-means算法进行聚类，设k = 5，即将30支球队分成5个集团。现抽取勇士、快船、掘金、国王、76人的值作为五个簇的种子，即初始化五个簇的中心为：A{0.18,0.00,0.00,0.00,0.81,0.00,0.06}，B{0.08,0.16,0.27,0.24,0.62,0.56,0.88}，C{0.42,0.55,0.55,0.40,1.00,1.00,1.00}，D{0.55,0.57,0.55,0.52,1.00,1.00,1.00}，E{0.69,0.73,0.86,0.58,1.00,1.00,1.00}，下面分别计算所有球队分别对五个中心点的相异度，这里以欧几里得距离作为相异度，以下为我求得的结果：

K均值聚类--利用k-means算法分析NBA近四年球队实力

标签：感受   border   兴趣   技术   接下来   表示   全球   映射   学习方法   

原文地址：http://blog.csdn.net/u013043346/article/details/71140643