k-means：基于划分算法的典型、实现比较简单。特点是只能聚球形、受离群点的影响很大。
采用python实现：用二维矩阵来存点集和质心点、每次循环分两步：计算质心和重新分配点，循环直到最小平方误差SSE收敛为止，或者指定一个最大的迭代次数。
关于画图，我使用的是pylab和Matplotlib，Matplotlib是一个类matlab 的库，比较方便python作图，安装它时花了很长的时间来解决依赖库。。网上搜了一大堆帖子，最后总算是解决了、、
总结一下安装时的问题吧：
Matplotlib依赖的库主要有：numpy、scipy、pyparsing、dateutil、six。
我由于是在windows下安装的，所以在这里http://www.lfd.uci.edu/~gohlke/pythonlibs/#pyparsing搜到了安装文件。
安装时一定要和自己的python版本相匹配！
我在安装six的时候出了问题，异常总是提示版本不对，后来网上搜了一个帖子，
下载了一个six-1.8.0.tar.gz，解压后把其中的six.py、six.pyc（可以编译一下得到）安装复制到XXX:\Python27\Lib\site-packages下就可以，
当然，也可以先安装个setuptools来easy_install更加方便，或者直接pip安装。
数据集data.txt：用numpy随机产生的一个点集，输出到文件data.txt中，x坐标和y坐标之间加逗号分隔。
kmeans.py：读取文件，运行kmeans，最后生成一个可视化的对比图。
"""
author:messiandzcy
date:2014.12.1
kmeans.py
"""
#coding=utf-8
import random
import math
import pylab as pl
#存放点集的列表
def Points(num_of_points,num_of_attributes):
point = [[0 for y in range (num_of_attributes)]
for x in range(num_of_points)]
return point
#存放质心点的列表
def matrix(num_of_centers,num_of_attributes):
mat = [[0 for y in range (num_of_attributes)]
for x in range(num_of_centers+1)]
return mat
#从文件中读取数据的坐标并存放在列表中,并初始化簇标号
#簇数作为参数的目的是生成随机簇号
def ReadFile(clusters):
filename = r'data.txt'
try:
fp = open(filename,"r")
print "Reading File '%s'..." % filename
point = Points(80,3)#申请点集矩阵
pos = 0
for line in fp:
(x,y)=line.strip("\n").split(",")
#读入点集到列表，并为每个点随机产生一个簇标号，保证每个点都有一个簇与之对应
point[pos][0],point[pos][1],point[pos][2]=float(x),float(y),random.randrange(1,clusters+1)
pos += 1
fp.close()
print "Read File Success!"
#二次处理，保证每个簇至少对应一个点（避免有空簇的情况）
for i in range(1,clusters+1):
point[random.randrange(0,pos)][2]=i
return (point,pos) #返回矩阵和点集个数
except IOError:
print "Read File -->'%s' Failed!" % filename
print "File --> '%s' does not exist!" % filename
except:#other exceptions
print "Other Exceptions!"
#打印点集矩阵来测试,lst是点集列表,num是点的个数
def printf(lst,num):
print "%-15s%-15s%-15s" % ('x-pos','y-pos','cluster')
for i in range(num):
print "%-15f%-15f%-15d" % (lst[i][0],lst[i][1],lst[i][2])
def drawGraph1(lst,num):
pl.figure(1)
x,y=[],[]
for i in range(num):
x.append(lst[i][0])
y.append(lst[i][1])
#print x
#print y
#画第一个子图
pl.subplot(121)
pl.title("The DataSet before K-MEANS")
pl.xlabel("x axis")
pl.ylabel("y axis")
pl.plot(x,y,'ro') #add point to Graph
#pl.xlim(-10.0, 10.0)# set axis limits
#pl.ylim(-10.0, 10.0)# set axis limits
#pl.show()
def drawGraph2(lst,num):
#x,y=[],[]
#创建簇号和颜色对应的列表,这里暂时只支持7个簇
items = ["#","mo","yo","ko","bo","go","ro","co"]
#d = dict(items)
#画第二个子图
pl.subplot(122)
pl.title("The DataSet after K-MEANS")
pl.xlabel("x axis")
pl.ylabel("y axis")
for i in range(num):
pl.plot([lst[i][0]],[lst[i][1]],items[lst[i][2]])
#if lst[i][2]==2:pl.plot([lst[i][0]],[lst[i][1]],"*")
#if lst[i][2]==3:pl.plot([lst[i][0]],[lst[i][1]],"ro")
#x.append(lst[i][0])
#y.append(lst[i][1])
pl.show()
#计算欧式距离
def distance(x1,x2,y1,y2):
return math.sqrt((x1 - y1)*(x1 - y1)+(x2 - y2)*(x2 - y2))
#计算方差
def variance(x1,x2,y1,y2):
return (x1 - y1)*(x1 - y1)+(x2 - y2)*(x2 - y2)
#kmeans算法,参数为迭代的次数，可指定
def kmeans(point,num,k,times):
center=matrix(k,2) #申请质心矩阵，行下标表示簇，列形式为(x-pos,y-pos)
print "Start to Run K-means!"
drawGraph1(point,num) #处理原始数据图1
iters = 1
last_SSE=0
while iters<=times:
print "iteration:#%d" % iters
printf(point,num)
#第一步--计算质心
for j in range(1,k+1): #对于每个簇
tmp = 0 #记录每个簇所包含的点个数
sumx,sumy= 0.0,0.0 #累积x坐标和y坐标的和
for i in range(num): #扫描数据库
if point[i][2]==j: #如果当前点属于簇j
sumx += point[i][0]
sumy += point[i][1]
tmp += 1
center[j][0],center[j][1]=sumx/tmp,sumy/tmp #这里tmp可能除0,然而这对应于有空簇的情况,概率非常小,需要改进一下
#print center
#计算误差平方和SSE
SSE = 0
for i in range(num):
SSE += variance(point[i][0],point[i][1],center[point[i][2]][0],center[point[i][2]][1]) #累积SSE
print "SSE=%f" % SSE
print
if SSE==last_SSE:break #如果SSE收敛,则停止迭代
last_SSE=SSE #保存上一步计算的SSE
#第二步--基于最小距离重新分布簇
for i in range(num): #对于每个点
mind = 100000
for j in range(1,k+1): #对于每个簇
mem=distance(point[i][0],point[i][1],center[j][0],center[j][1]) #取一个最小的距离
if mem<mind:
mind=mem
keep=j
point[i][2]=keep #更新簇号
#printf(point,num)
iters += 1
drawGraph2(point,num) #画k-means处理后的图并且show()
#主函数
while True:
#k是簇数，可以用户指定
k=input("Please input the NUM of Clusters(0 for EXIT):")
if k==0:break
(point,num)=ReadFile(k) #从文件中读取数据并初始化
times = 30 #控制迭代次数
kmeans(point,num,k,times) #运行kmeans算法
最终簇数k=3时的效果：
原文地址：http://blog.csdn.net/messiandzcy/article/details/41697719
