码迷,mamicode.com
首页 > 编程语言 > 详细

K-近邻分类算法 简述

时间:2014-10-30 19:28:52      阅读:198      评论:0      收藏:0      [点我收藏+]

标签:style   ar   for   sp   strong   数据   on   代码   bs   

1. 简述:

简单地说,谷近邻算法采用测量不同特征值之间的距离方法进行分类。

优点:精度高、对异常值不敏感、无数据输入假定。

缺点:计算复杂度高、空间复杂度高。

适用数据范围:数值型和标称型。

2.工作原理是

存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前&个最相似的数据,这就是&-近邻算法中&的出处,通常*是不大于20的整数。最后,选择&个最相似数据中出现次数最多的分类,作为新数据的分类。

3.代码例子:

  1 #!/usr/bin/env python

  2 

  3 from numpy import *

  4 ## numpy 机器学习的一个python库,

  5 import operator

  6 

  7 def createdata():

  8 

  9         group=array([[1.0,1.2],[1.1,1.1],[0.1,0.2],[0.3,0.1]])

 10 

 11         labels = [‘A‘,‘A‘,‘B‘,‘B‘]

 12         return group,labels

 13 def classify(intx,dataset,labels,k):

 14         datasetsize = dataset.shape[0] ## 返回维度信息

 15         diffmat = tile(intx,(datasetsize,1)) -dataset ## 填充,并且做矩阵的相见

 16         sqdiffmat = diffmat**2 ## 去平方

 17         sqDis = sqdiffmat.sum(axis=1) ## 统一列相见

 18         soreddis = sqDis.argsort() ## 索引排序

 19         classcount={} 

 20         for i in range(k):

 21          

 22                 votelabel = labels[soreddis[i]]

 23                 classcount[votelabel] = classcount.get(votelabel,1)+1

 24                 

 25         sortclasscount=sorted(classcount.iteritems(),key=operator.itemgetter(1),reverse=True)

 26         return sortclasscount[0][0]     

 27          

 28 if __name__ == ‘__main__‘:

 29 

 30         group,labels = createdata() 

 31 

 32         print classify([0.5,0.3],group,labels,3)





K-近邻分类算法 简述

标签:style   ar   for   sp   strong   数据   on   代码   bs   

原文地址:http://my.oschina.net/u/1388024/blog/338968

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!