码迷,mamicode.com
首页 > 编程语言 > 详细

机器学习实战笔记-利用K均值聚类算法对未标注数据分组

时间:2017-11-21 01:19:28      阅读:289      评论:0      收藏:0      [点我收藏+]

标签:误差   增加   自己   param   pre   较差   工作   遍历   遇到   

聚类是一种无监督的学习,它将相似的对象归到同一个簇中。它有点像全自动分类。聚类方法几乎可以应用于所有对象,簇内的对象越相似,聚类的效果越好
簇识别给出聚类结果的含义。假定有一些数据,现在将相似数据归到一起,簇识别会告诉我们这些簇到底都是些什么。聚类与分类的最大不同在于,分类的目标事先巳知,而聚类则不一样。因为其产生的结果与分类相同,而只是类别没有预先定义,聚类有时也被称为无监督分类(unsupervised classification )。
聚类分析试图将相似对象归人同一簇,将不相似对象归到不同簇相似这一概念取决于所选择的相似度计算方法

10.1K-均值聚类算法

K-均值聚类
优点:容易实现。
缺点:可能收敛到局部最小值,在大规模数据集上收敛较慢。
适用数据类型:数值型数据。

K-均值是发现给定数据集的k个簇的算法。簇个数k是用户给定的每一个簇通过其质心( centroid) , 即簇中所有点的中心来描述
K-均值算法的工作流程是这样的。首先,随机确定k个初始点作为质心。然后将数据集中的每个点分配到一个簇中,具体来讲,为每个点找距其最近的质心,并将其分配给该质心所对应的簇。这一步完成之后,每个簇的质心更新为该簇所有点的平均值

上述过程的伪代码表示如下:
创建k个点作为起始质心(经常是随机选择)
当任意一个点的簇分配结果发生改变时
??对数据集中的每个数据点
????对每个质心
??????计算质心与数据点之间的距离
????将数据点分配到距其最近的簇
??对每一个簇,计算簇中所有点的均值并将均值作为质心

K-均值聚类的一般流程
(1)收集数据:使用任意方法。
⑵准备数据:需要数值型数据来计算距离,也可以将标称型数据映射为二值型数据再用于距离计算。
(3)分析数据:使用任意方法。
(4)训练算法:不适用于无监督学习,即无监督学习没有训练过程
(5)测试算法:应用聚类算法、观察结果。可以使用量化的误差指标如误差平方和(后面会介绍)来评价算法的结果。
(6)使用算法:可以用于所希望的任何应用。通常情况下,簇质心可以代表整个簇的数据来做出决策。

K-均值聚类支持函数(即完成K均值聚类的一些辅助函数),代码如下:

from numpy import *

#general function to parse tab -delimited floats
 #assume last column is target value
def loadDataSet(fileName):     
    dataMat = []               
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split(\t)
        #笔者使用的是python3,需要将map映射后的结果转化为list
        #map all elements to float()
        fltLine = list(map(float,curLine)) 
        dataMat.append(fltLine)
    return dataMat

#样本距离计算函数
def distEclud(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2))) #la.norm(vecA-vecB)
#创建簇中心矩阵,初始化为k个在数据集的边界内随机分布的簇中心
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    #create centroid mat 
    centroids = mat(zeros((k,n)))
    #create random cluster centers, within bounds of each dimension
    for j in range(n):
        #求出数据集中第j列的最小值(即第j个特征)
        minJ = min(dataSet[:,j])
        #用第j个特征最大值减去最小值得出特征值范围
        rangeJ = float(max(dataSet[:,j]) - minJ)
        #创建簇矩阵的第J列,random.rand(k,1)表示产生(10,1)维的矩阵,其中每行值都为0-1中的随机值
        #可以这样理解,每个centroid矩阵每列的值都在数据集对应特征的范围内,那么k个簇中心自然也都在数据集范围内
        centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
    return centroids

测试截图如下:
技术分享图片

K -均值聚类算法,代码如下:

#distMeas为距离计算函数
#createCent为初始化随机簇心函数
def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
    m = shape(dataSet)[0]
    #create mat to assign data points to a centroid, also holds SE of each point
    #创建一个(m,2)维矩阵,第一列存储每个样本对应的簇心,第二列存储样本到簇心的距离
    clusterAssment = mat(zeros((m,2)))
    #用createCent()函数初始化簇心矩阵
    centroids = createCent(dataSet, k)
    #保存迭代中clusterAssment是否更新的状态,如果未更新,那么退出迭代,表示收敛
    #如果更新,那么继续迭代,直到收敛
    clusterChanged = True
    while clusterChanged:
        clusterChanged = False
        #for each data point assign it to the closest centroid
        #对每个样本找出离样本最近的簇心
        for i in range(m):
            #minDist保存最小距离
            #minIndex保存最小距离对应的簇心
            minDist = inf; minIndex = -1
            #遍历簇心,找出离i样本最近的簇心
            for j in range(k):
                distJI = distMeas(centroids[j,:],dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI; minIndex = j
            #如果clusterAssment更新,表示对应样本的簇心发生变化,那么继续迭代
            if clusterAssment[i,0] != minIndex: clusterChanged = True
            #更新clusterAssment,样本到簇心的距离
            clusterAssment[i,:] = minIndex,minDist**2
        print(centroids)
        #遍历簇心,更新簇心为对应簇中所有样本的均值
        for cent in range(k):#recalculate centroids
            #利用数组过滤找出簇心对应的簇(数组过滤真是好东西!)
            ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
            #对簇求均值,赋给对应的centroids簇心
            centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean 
    return centroids, clusterAssment

代码测试截图如下:
技术分享图片
绘制测试截图:
技术分享图片
paint函数为笔者写的绘图函数:

def paint(xArr,yArr,xArr1,yArr1):
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xArr,yArr,c=blue)
    ax.scatter(xArr1,yArr1,c=red)
    plt.show()

效果如下(其中红色的点为簇心):
技术分享图片
可以看到,经过3次迭代之后K-均值算法收敛

10.2 使用后处理来提高聚类性能

考虑图10-2中的聚类结果,这是在一个包含三个簇的数据集上运行K-均值算法之后的结果,但是点的簇分配结果值没有那么准确。K-均值算法收敛但聚类效果较差的原因是,K-均值算法收敛到了局部最小值,而非全局最小值(局部最小值指结果还可以但并非最好结果,全局最小值是可能的最好结果)。
一种用于度量聚类效果的指标是SSE(Sum of Squared Error,误差平方和),对应clusterAssment矩阵的第一列之和。SSE值越小表示数据点越接近于它们的质心,聚类效果也越好。因为对误差取了平方,因此更加重视那些远离中心的点。一种肯定可以降低SSE值的方法是增加簇的个数,但这违背了聚类的目标。聚类的目标是在保持簇数目不变的情况下提高簇的质量
那么如何对结果进行改进?你可以对生成的簇进行后处理,一种方法是将具有最大SSE值的簇划分成两个簇。具体实现时可以将最大簇包含的点过滤出来并在这些点上运行K-均值聚类算法,其中的K为2。
技术分享图片
为了保持簇总数不变,可以将某两个簇进行合并。从图10-2中很明显就可以看出,应该将图下部两个出错的簇质心进行合并。可以很容易对二维数据上的聚类进行可视化,但是如果遇到40维的数据应该如何去做?
有两种可以量化的办法:合并最近的质心,或者合并两个使得SSE增幅最小的质心。第一种思路通过计算所有质心之间的距离,然后合并距离最近的两个点来实现。第二种方法需要合并两个簇然后计算总SSE值。必须在所有可能的两个簇上重复上述处理过程,直到找到合并最佳的两个簇为止。接下来将讨论利用上述簇划分技术得到更好的聚类结果的方法。

10.3 二分K-均值算法

为克服K-均值算法收敛于局部最小值的问题,有人提出了另一个称为二分K均值(bisectingK-means)的算法, 该算法首先将所有点作为一个簇,然后将该簇一分为二。之后选择其中一个簇继续进行划分,选择哪一个簇进行划分取决于对其划分是否可以最大程度降低SSE的值。上述基于SSE的划分过程不断重复,直到得到用户指定的簇数目为止。

二分K-均值算法的伪代码形式如下:
将所有点看成一个簇
当簇数目小于k时
对于每一个簇
??计算总误差
??在给定的簇上面进行K-均值聚类(k=2)
??计算将该簇一分为二之后的总误差
选择使得误差最小的那个簇进行划分操作

另一种做法是选择SSE最大的簇进行划分,直到簇数目达到用户指定的数目为止。这个做法听起来并不难实现。下面就来看一下该算法的实际效果。

二分K均值聚类算法,代码如下:

#distMeas为距离计算函数
def biKmeans(dataSet, k, distMeas=distEclud):
    m = shape(dataSet)[0]
    #(m,2)维矩阵,第一列保存样本所属簇,第二列保存样本到簇中心的距离
    clusterAssment = mat(zeros((m,2)))
    #取数据集特征均值作为初始簇中心
    centroid0 = mean(dataSet, axis=0).tolist()[0]
    #centList保存簇中心数组,初始化为一个簇中心
    #create a list with one centroid
    centList =[centroid0] 
    #calc initial Error
    for j in range(m):
        clusterAssment[j,1] = distMeas(mat(centroid0), dataSet[j,:])**2
    #迭代,直到簇中心集合长度达到k
    while (len(centList) < k):
    #初始化最小误差
        lowestSSE = inf
        #迭代簇中心集合,找出找出分簇后总误差最小的那个簇进行分解
        for i in range(len(centList)):
            #get the data points currently in cluster i
            #获取属于i簇的数据集样本
            ptsInCurrCluster = dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]
            #对该簇进行k均值聚类
            centroidMat, splitClustAss = kMeans(ptsInCurrCluster, 2, distMeas)
            #获取该簇分类后的误差和
            sseSplit = sum(splitClustAss[:,1])#compare the SSE to the currrent minimum
            #获取不属于该簇的样本集合的误差和,注意矩阵过滤中用的是!=i
            sseNotSplit = sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])
            #打印该簇分类后的误差和和不属于该簇的样本集合的误差和
            print("sseSplit, and notSplit: ",sseSplit,sseNotSplit)
            #两误差和相加即为分簇后整个样本集合的误差和,找出簇中心集合中能让分簇后误差和最小的簇中心,保存最佳簇中心(bestCentToSplit),最佳分簇中心集合(bestNewCents),以及分簇数据集中样本对应簇中心及距离集合(bestClustAss),最小误差(lowestSSE)
            if (sseSplit + sseNotSplit) < lowestSSE:
                bestCentToSplit = i
                bestNewCents = centroidMat
                bestClustAss = splitClustAss.copy()
                lowestSSE = sseSplit + sseNotSplit
        #更新用K-means获取的簇中心集合,将簇中心换为len(centList)和bestCentToSplit,以便之后调整clusterAssment(总样本集对应簇中心与和簇中心距离的矩阵)时一一对应
        bestClustAss[nonzero(bestClustAss[:,0].A == 1)[0],0] = len(centList) #change 1 to 3,4, or whatever
        bestClustAss[nonzero(bestClustAss[:,0].A == 0)[0],0] = bestCentToSplit
        print(the bestCentToSplit is: ,bestCentToSplit)
        print(the len of bestClustAss is: , len(bestClustAss))
        #更新簇中心集合,注意与bestClustAss矩阵是一一对应的
        centList[bestCentToSplit] = bestNewCents[0,:].tolist()[0]#replace a centroid with two best centroids 
        centList.append(bestNewCents[1,:].tolist()[0])
        #reassign new clusters, and SSE
        clusterAssment[nonzero(clusterAssment[:,0].A == bestCentToSplit)[0],:]= bestClustAss
    return mat(centList), clusterAssment

二分K值最重要的是记住要将最佳分簇集合与clusterAssment一一对应
测试代码如下:

datMat3 = mat(loadDataSet(testSet2.txt))
centList,myNewAssments = biKmeans(datMat3,3)
print(centList)
xArr = datMat3[:,0].flatten().A[0]
yArr = datMat3[:,1].flatten().A[0]
xArr1 = centList[:,0].flatten().A[0]
yArr1 = centList[:,1].flatten().A[0]
#paint为笔者自己写的绘图函数
paint(xArr,yArr,xArr1,yArr1)

def paint(xArr,yArr,xArr1,yArr1):
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xArr,yArr,c=blue)
    ax.scatter(xArr1,yArr1,c=red)
    plt.show()

测试截图如下:
技术分享图片

上述函数可以运行多次,聚类会收敛到全局最小值,而原始的别的!!3 ()函数偶尔会陷人局部最小值

10.4 示例:对地图上的点进行聚类

假如有这样一种情况:你的朋友Drew希望你带他去城里庆祝他的生日。由于其他一些朋友也会过来,所以需要你提供一个大家都可行的计划。Drew给了你一些他希望去的地址。这个地址列表很长,有70个位置。我把这个列表保存在文件portland-Clubs.txt中,该文件和源代码一起打包。这些地址其实都在俄勒冈州的波特兰地区。
也就是说,一晚上要去70个地方!你要决定一个将这些地方进行聚类的最佳策略,这样就可以安排交通工具抵达这些簇的质心,然后步行到每个簇内地址。Drew的清单中虽然给出了地址,但是并没有给出这些地址之间的距离远近信息。因此,你要得到每个地址的纬度和经度,然后对这些地址进行聚类以安排你的行程。

示例:对于地理数据应用二分K-均值算法
(1)收集数据:使用Yahoo!PlaceFinder API收集数据
(2)准备数据:只保留经纬度信息
(3)分析数据:使用Matplotlib来构建一个二维数据图,其中包含簇与地图
(4)训练算法:训练不适用无监督学习
(5)测试算法:使用10.4节中的biKmeans( )函教
(6)使用算法| 最后的输出是包含簇及簇中心的地图

10.4.1 Yahoo! PlaceFinder API

Yahoo! PlaceFinderAPI,代码如下:

import urllib
import json
def geoGrab(stAddress, city):
    #create a dict and constants for the goecoder
    apiStem = http://where.yahooapis.com/geocode?  
    #请求参数字典
    params = {}
    params[flags] = J#JSON return type
    params[appid] = aaa0VN6k
    params[location] = %s %s % (stAddress, city)
    #url编码请求参数,化为x1=xx&x2=xx形式
    url_params = urllib.urlencode(params)
     #print url_params
    yahooApi = apiStem + url_params     
    print(yahooApi)
    #请求api
    c=urllib.urlopen(yahooApi)
    #获取json格式的数据
    return json.loads(c.read())

from time import sleep
def massPlaceFind(fileName):
    fw = open(places.txt, w)
    #对文件中的每个样本调用geoGrab()获取json数据,解析后写入源文件
    for line in open(fileName).readlines():
        line = line.strip()
        lineArr = line.split(\t)
        retDict = geoGrab(lineArr[1], lineArr[2])
        if retDict[ResultSet][Error] == 0:
            lat = float(retDict[ResultSet][Results][0][latitude])
            lng = float(retDict[ResultSet][Results][0][longitude])
            print("%s\t%f\t%f" % (lineArr[0], lat, lng))
            fw.write(%s\t%f\t%f\n % (line, lat, lng))
        else: print("error fetching")
        sleep(1)
    fw.close()

测试代码如下:

geoResults = geoGrab(1 VA Center, Augusta, ME)
print(geoResults)

由于主要不是为了调用YahooAPI,因此笔者没有实际调用API获取数据,理解这个过程就可以了,首先获取数据,然后调用二分K均值聚类对地址聚类分析。

10.4.2 对地理坐标进行聚类
这个例子中要聚类的俱乐部给出的信息为经度和维度,但这些信息对于距离计算还不够。在北极附近每走几米的经度变化可能达到数10度 ;而在赤道附近走相同的距离,带来的经度变化可能只是零点几。可以使用球面余弦定理来计算两个经纬度之间的距离

球面距离计算及簇绘图函数,代码如下:

#利用球面余弦定理计算指定(经度,纬度)两点的距离
def distSLC(vecA, vecB):#Spherical Law of Cosines
    a = sin(vecA[0,1]*pi/180) * sin(vecB[0,1]*pi/180)
    b = cos(vecA[0,1]*pi/180) * cos(vecB[0,1]*pi/180) *                       cos(pi * (vecB[0,0]-vecA[0,0]) /180)
    return arccos(a + b)*6371.0 #pi is imported with numpy

import matplotlib
import matplotlib.pyplot as plt
def clusterClubs(numClust=5):
    datList = []
    #读取数据集,存储在datList中
    for line in open(places.txt).readlines():
        lineArr = line.split(\t)
        datList.append([float(lineArr[4]), float(lineArr[3])])
    datMat = mat(datList)
    #调用二分K聚类获取簇中心集合以及clustAssing矩阵
    myCentroids, clustAssing = biKmeans(datMat, numClust, distMeas=distSLC)
    fig = plt.figure()
    rect=[0.1,0.1,0.8,0.8]
    scatterMarkers=[s, o, ^, 8, p,                     d, v, h, >, <]
    axprops = dict(xticks=[], yticks=[])
    ax0=fig.add_axes(rect, label=ax0, **axprops)
    imgP = plt.imread(Portland.png)
    ax0.imshow(imgP)
    ax1=fig.add_axes(rect, label=ax1, frameon=False)
    #迭代簇集合,根据不同的marker画出对应的簇
    for i in range(numClust):
        ptsInCurrCluster = datMat[nonzero(clustAssing[:,0].A==i)[0],:]
        markerStyle = scatterMarkers[i % len(scatterMarkers)]
        ax1.scatter(ptsInCurrCluster[:,0].flatten().A[0], ptsInCurrCluster[:,1].flatten().A[0], marker=markerStyle, s=90)
    #画出所有簇中心
    ax1.scatter(myCentroids[:,0].flatten().A[0], myCentroids[:,1].flatten().A[0], marker=+, s=300)
    plt.show()

测试代码如下:

kMeans.clusterClubs(5)

测试截图如下:
技术分享图片

10.5 本章小结

聚类是一种无监督的学习方法。所谓无监督学习是指事先并不知道要寻找的内容,即没有目标变量。聚类将数据点归到多个簇中,其中相似数据点处于同一簇,而不相似数据点处于不同簇中聚类中可以使用多种不同的方法来计算相似度
一种广泛使用的聚类算法是K-均值算法,其中K是用户指定的要创建的簇的数目。K-均值聚类算法以K个随机质心开始。算法会计算每个点到质心的距离。每个点会被分配到距其最近的簇质心,然后紧接着基于新分配到簇的点更新簇质心。以上过程重复数次,直到簇质心不再改变。这个简单的算法非常有效但是也容易受到初始簇质心的影响。为了获得更好的聚类效果,可以使用另一种称为二分K-均值的聚类算法。二分K-均值算法首先将所有点作为一个簇,然后使用K-均值算法(K = 2 ) 对其划分。下一次迭代时,选择有最大误差的簇进行划分。该过程重复直到K个簇创建成功为止。二分K-均值的聚类效果要好于K-均值算法。
K-均值算法以及变形的K-均值算法并非仅有的聚类算法, 另外称为层次聚类的方法也被广泛使用

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习实战笔记-利用K均值聚类算法对未标注数据分组

标签:误差   增加   自己   param   pre   较差   工作   遍历   遇到   

原文地址:http://www.cnblogs.com/kevincong/p/7868640.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!