码迷，mamicode.com
首页 > 编程语言 > 详细

转载： scikit-learn学习之K最近邻算法(KNN)

时间：2016-09-08 14:25:15      阅读：930      评论：0      收藏：0      [点我收藏+]

标签：

版权声明：<—— 本文为作者呕心沥血打造，若要转载，请注明出处@http://blog.csdn.net/gamer_gyt <——

目录(?)[+]

======================================================================
本系列博客主要参考 Scikit-Learn 官方网站上的每一个算法进行，并进行部分翻译，如有错误，请大家指正   

======================================================================

 

决策树的算法分析与Python代码实现请参考之前的一篇博客：K最近邻Python实现    接下来我主要演示怎么使用Scikit-Learn完成决策树算法的调用


Scikit-Learn中 sklearn.neighbors的函数包括（点击查看来源URL）

 

The sklearn.neighbors module implements the k-nearest neighbors algorithm.

 

User guide: See the Nearest Neighbors section for further details.

neighbors.NearestNeighbors([n_neighbors, ...]) Classifier implementing the k-nearest neighbors vote. Classifier implementing a vote among neighbors within a given radius neighbors.KNeighborsRegressor([n_neighbors, ...]) neighbors.RadiusNeighborsRegressor([radius, ...]) neighbors.NearestCentroid([metric, ...]) BallTree for fast generalized N-point problems KDTree for fast generalized N-point problems neighbors.LSHForest([n_estimators, radius, ...]) DistanceMetric class neighbors.KernelDensity([bandwidth, ...])

Unsupervised learner for implementing neighbor searches.
Regression based on k-nearest neighbors.
Regression based on neighbors within a fixed radius.
Nearest centroid classifier.
Performs approximate nearest neighbor search using LSH forest.
Kernel Density Estimation

neighbors.kneighbors_graph(X, n_neighbors[, ...])neighbors.radius_neighbors_graph(X, radius)

Computes the (weighted) graph of k-Neighbors for points in X
Computes the (weighted) graph of Neighbors for points in X


首先看一个简单的小例子：

 

sklearn.neighbors.NearestNeighbors具体说明查看：URL  在这只是将用到的加以注释

 

 

[python] view plain copy 技术分享技术分享
  1. #coding:utf-8  
  2. ‘‘‘‘‘ 
  3. Created on 2016/4/24 
  4. @author: Gamer Think 
  5. ‘‘‘  
  6. #导入NearestNeighbor包 和 numpy  
  7. from sklearn.neighbors import NearestNeighbors  
  8. import numpy as np  
  9.   
  10. #定义一个数组  
  11. X = np.array([[-1,-1],  
  12.               [-2,-1],  
  13.               [-3,-2],  
  14.               [1,1],  
  15.               [2,1],  
  16.               [3,2]  
  17.               ])  
  18. """ 
  19. NearestNeighbors用到的参数解释 
  20. n_neighbors=5,默认值为5，表示查询k个最近邻的数目 
  21. algorithm=‘auto‘,指定用于计算最近邻的算法，auto表示试图采用最适合的算法计算最近邻 
  22. fit(X)表示用X来训练算法 
  23. """  
  24. nbrs = NearestNeighbors(n_neighbors=3, algorithm="ball_tree").fit(X)  
  25. #返回距离每个点k个最近的点和距离指数，indices可以理解为表示点的下标，distances为距离  
  26. distances, indices = nbrs.kneighbors(X)  
  27. print indices  
  28. print distances  

输出结果为：

技术分享
执行

[python] view plain copy 技术分享技术分享
  1. #输出的是求解n个最近邻点后的矩阵图，1表示是最近点，0表示不是最近点  
  2. print nbrs.kneighbors_graph(X).toarray()  


技术分享

[python] view plain copy 技术分享技术分享
  1. #测试 KDTree  
  2. ‘‘‘‘‘ 
  3. leaf_size:切换到蛮力的点数。改变leaf_size不会影响查询结果， 
  4.                           但能显著影响查询和存储所需的存储构造树的速度。 
  5.                         需要存储树的规模约n_samples / leaf_size内存量。 
  6.                         为指定的leaf_size，叶节点是保证满足leaf_size <= n_points < = 2 * leaf_size， 
  7.                         除了在的情况下，n_samples < leaf_size。 
  8.                          
  9. metric:用于树的距离度量。默认‘minkowski与P = 2（即欧氏度量）。 
  10.                   看到一个可用的度量的距离度量类的文档。 
  11.        kd_tree.valid_metrics列举这是有效的基础指标。 
  12. ‘‘‘  
  13. from sklearn.neighbors import KDTree  
  14. import numpy as np  
  15. X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])  
  16. kdt = KDTree(X,leaf_size=30,metric="euclidean")  
  17. print kdt.query(X, k=3, return_distance=False)  
  18.   
  19.   
  20. #测试 BallTree  
  21. from sklearn.neighbors import BallTree  
  22. import numpy as np  
  23. X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])  
  24. bt = BallTree(X,leaf_size=30,metric="euclidean")  
  25. print bt.query(X, k=3, return_distance=False)  


其输出结果均为：

技术分享

这是在小数据集的情况下并不能看到他们的差别，当数据集变大时，这种差别便显而易见了

技术分享技术分享

  1. <span style="font-size:18px;">#coding:utf-8  
  2. ‘‘‘‘‘ 
  3. Created on 2016年4月24日 
  4.  
  5. @author: Gamer Think 
  6. ‘‘‘  
  7. from sklearn.datasets import load_iris  
  8. from sklearn import neighbors  
  9. import sklearn  
  10.   
  11. #查看iris数据集  
  12. iris = load_iris()  
  13. print iris  
  14.   
  15. knn = neighbors.KNeighborsClassifier()  
  16. #训练数据集  
  17. knn.fit(iris.data, iris.target)  
  18. #预测  
  19. predict = knn.predict([[0.1,0.2,0.3,0.4]])  
  20. print predict  
  21. print iris.target_names[predict]</span>  

预测结果为：

[0]    #第0类
[‘setosa‘]    #第0类对应花的名字

技术分享技术分享

  1. <span style="font-size:18px;"> #-*- coding: UTF-8 -*-   
  2. ‘‘‘‘‘ 
  3. Created on 2016/4/24 
  4.  
  5. @author: Administrator 
  6. ‘‘‘  
  7. import csv     #用于处理csv文件  
  8. import random    #用于随机数  
  9. import math           
  10. import operator  #  
  11. from sklearn import neighbors  
  12.   
  13. #加载数据集  
  14. def loadDataset(filename,split,trainingSet=[],testSet = []):  
  15.     with open(filename,"rb") as csvfile:  
  16.         lines = csv.reader(csvfile)  
  17.         dataset = list(lines)  
  18.         for x in range(len(dataset)-1):  
  19.             for y in range(4):  
  20.                 dataset[x][y] = float(dataset[x][y])  
  21.             if random.random()<split:  
  22.                 trainingSet.append(dataset[x])  
  23.             else:  
  24.                 testSet.append(dataset[y])  
  25.   
  26. #计算距离  
  27. def euclideanDistance(instance1,instance2,length):  
  28.     distance = 0  
  29.     for x in range(length):  
  30.         distance = pow((instance1[x] - instance2[x]),2)  
  31.     return math.sqrt(distance)  
  32.   
  33. #返回K个最近邻  
  34. def getNeighbors(trainingSet,testInstance,k):  
  35.     distances = []  
  36.     length = len(testInstance) -1  
  37.     #计算每一个测试实例到训练集实例的距离  
  38.     for x in range(len(trainingSet)):  
  39.         dist = euclideanDistance(testInstance, trainingSet[x], length)  
  40.         distances.append((trainingSet[x],dist))  
  41.     #对所有的距离进行排序  
  42.     distances.sort(key=operator.itemgetter(1))  
  43.     neighbors = []  
  44.     #返回k个最近邻  
  45.     for x in range(k):  
  46.         neighbors.append(distances[x][0])  
  47.     return neighbors  
  48.   
  49. #对k个近邻进行合并，返回value最大的key  
  50. def getResponse(neighbors):  
  51.     classVotes = {}  
  52.     for x in range(len(neighbors)):  
  53.         response = neighbors[x][-1]  
  54.         if response in classVotes:  
  55.             classVotes[response]+=1  
  56.         else:  
  57.             classVotes[response] = 1  
  58.     #排序  
  59.     sortedVotes = sorted(classVotes.iteritems(),key = operator.itemgetter(1),reverse =True)  
  60.     return sortedVotes[0][0]  
  61.   
  62. #计算准确率  
  63. def getAccuracy(testSet,predictions):  
  64.     correct = 0  
  65.     for x in range(len(testSet)):  
  66.         if testSet[x][-1] == predictions[x]:  
  67.             correct+=1  
  68.     return (correct/float(len(testSet))) * 100.0  
  69.   
  70. def main():  
  71.     trainingSet = []  #训练数据集  
  72.     testSet = []      #测试数据集  
  73.     split = 0.67      #分割的比例  
  74.     loadDataset(r"iris.txt", split, trainingSet, testSet)   
  75.     print "Train set :" + repr(len(trainingSet))  
  76.     print "Test set :" + repr(len(testSet))                  
  77.       
  78.     predictions = []  
  79.     k = 3  
  80.     for x in range(len(testSet)):  
  81.         neighbors = getNeighbors(trainingSet, testSet[x], k)  
  82.         result = getResponse(neighbors)  
  83.         predictions.append(result)  
  84.         print ">predicted = " + repr(result) + ",actual = " + repr(testSet[x][-1])  
  85.     accuracy = getAccuracy(testSet, predictions)  
  86.     print "Accuracy:" + repr(accuracy) + "%"  
  87.   
  88. if __name__ =="__main__":  
  89.     main()  </span>  


附iris.txt文件的内容 5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.7,3.2,1.3,0.2,Iris-setosa
4.6,3.1,1.5,0.2,Iris-setosa
5.0,3.6,1.4,0.2,Iris-setosa
5.4,3.9,1.7,0.4,Iris-setosa
4.6,3.4,1.4,0.3,Iris-setosa
5.0,3.4,1.5,0.2,Iris-setosa
4.4,2.9,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
5.4,3.7,1.5,0.2,Iris-setosa
4.8,3.4,1.6,0.2,Iris-setosa
4.8,3.0,1.4,0.1,Iris-setosa
4.3,3.0,1.1,0.1,Iris-setosa
5.8,4.0,1.2,0.2,Iris-setosa
5.7,4.4,1.5,0.4,Iris-setosa
5.4,3.9,1.3,0.4,Iris-setosa
5.1,3.5,1.4,0.3,Iris-setosa
5.7,3.8,1.7,0.3,Iris-setosa
5.1,3.8,1.5,0.3,Iris-setosa
5.4,3.4,1.7,0.2,Iris-setosa
5.1,3.7,1.5,0.4,Iris-setosa
4.6,3.6,1.0,0.2,Iris-setosa
5.1,3.3,1.7,0.5,Iris-setosa
4.8,3.4,1.9,0.2,Iris-setosa
5.0,3.0,1.6,0.2,Iris-setosa
5.0,3.4,1.6,0.4,Iris-setosa
5.2,3.5,1.5,0.2,Iris-setosa
5.2,3.4,1.4,0.2,Iris-setosa
4.7,3.2,1.6,0.2,Iris-setosa
4.8,3.1,1.6,0.2,Iris-setosa
5.4,3.4,1.5,0.4,Iris-setosa
5.2,4.1,1.5,0.1,Iris-setosa
5.5,4.2,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
5.0,3.2,1.2,0.2,Iris-setosa
5.5,3.5,1.3,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
4.4,3.0,1.3,0.2,Iris-setosa
5.1,3.4,1.5,0.2,Iris-setosa
5.0,3.5,1.3,0.3,Iris-setosa
4.5,2.3,1.3,0.3,Iris-setosa
4.4,3.2,1.3,0.2,Iris-setosa
5.0,3.5,1.6,0.6,Iris-setosa
5.1,3.8,1.9,0.4,Iris-setosa
4.8,3.0,1.4,0.3,Iris-setosa
5.1,3.8,1.6,0.2,Iris-setosa
4.6,3.2,1.4,0.2,Iris-setosa
5.3,3.7,1.5,0.2,Iris-setosa
5.0,3.3,1.4,0.2,Iris-setosa
7.0,3.2,4.7,1.4,Iris-versicolor
6.4,3.2,4.5,1.5,Iris-versicolor
6.9,3.1,4.9,1.5,Iris-versicolor
5.5,2.3,4.0,1.3,Iris-versicolor
6.5,2.8,4.6,1.5,Iris-versicolor
5.7,2.8,4.5,1.3,Iris-versicolor
6.3,3.3,4.7,1.6,Iris-versicolor
4.9,2.4,3.3,1.0,Iris-versicolor
6.6,2.9,4.6,1.3,Iris-versicolor
5.2,2.7,3.9,1.4,Iris-versicolor
5.0,2.0,3.5,1.0,Iris-versicolor
5.9,3.0,4.2,1.5,Iris-versicolor
6.0,2.2,4.0,1.0,Iris-versicolor
6.1,2.9,4.7,1.4,Iris-versicolor
5.6,2.9,3.6,1.3,Iris-versicolor
6.7,3.1,4.4,1.4,Iris-versicolor
5.6,3.0,4.5,1.5,Iris-versicolor
5.8,2.7,4.1,1.0,Iris-versicolor
6.2,2.2,4.5,1.5,Iris-versicolor
5.6,2.5,3.9,1.1,Iris-versicolor
5.9,3.2,4.8,1.8,Iris-versicolor
6.1,2.8,4.0,1.3,Iris-versicolor
6.3,2.5,4.9,1.5,Iris-versicolor
6.1,2.8,4.7,1.2,Iris-versicolor
6.4,2.9,4.3,1.3,Iris-versicolor
6.6,3.0,4.4,1.4,Iris-versicolor
6.8,2.8,4.8,1.4,Iris-versicolor
6.7,3.0,5.0,1.7,Iris-versicolor
6.0,2.9,4.5,1.5,Iris-versicolor
5.7,2.6,3.5,1.0,Iris-versicolor
5.5,2.4,3.8,1.1,Iris-versicolor
5.5,2.4,3.7,1.0,Iris-versicolor
5.8,2.7,3.9,1.2,Iris-versicolor
6.0,2.7,5.1,1.6,Iris-versicolor
5.4,3.0,4.5,1.5,Iris-versicolor
6.0,3.4,4.5,1.6,Iris-versicolor
6.7,3.1,4.7,1.5,Iris-versicolor
6.3,2.3,4.4,1.3,Iris-versicolor?
5.6,3.0,4.1,1.3,Iris-versicolor
5.5,2.5,4.0,1.3,Iris-versicolor
5.5,2.6,4.4,1.2,Iris-versicolor
6.1,3.0,4.6,1.4,Iris-versicolor
5.8,2.6,4.0,1.2,Iris-versicolor
5.0,2.3,3.3,1.0,Iris-versicolor
5.6,2.7,4.2,1.3,Iris-versicolor
5.7,3.0,4.2,1.2,Iris-versicolor
5.7,2.9,4.2,1.3,Iris-versicolor
6.2,2.9,4.3,1.3,Iris-versicolor
5.1,2.5,3.0,1.1,Iris-versicolor
5.7,2.8,4.1,1.3,Iris-versicolor
6.3,3.3,6.0,2.5,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
7.1,3.0,5.9,2.1,Iris-virginica
6.3,2.9,5.6,1.8,Iris-virginica
6.5,3.0,5.8,2.2,Iris-virginica
7.6,3.0,6.6,2.1,Iris-virginica
4.9,2.5,4.5,1.7,Iris-virginica
7.3,2.9,6.3,1.8,Iris-virginica
6.7,2.5,5.8,1.8,Iris-virginica
7.2,3.6,6.1,2.5,Iris-virginica
6.5,3.2,5.1,2.0,Iris-virginica
6.4,2.7,5.3,1.9,Iris-virginica
6.8,3.0,5.5,2.1,Iris-virginica
5.7,2.5,5.0,2.0,Iris-virginica
5.8,2.8,5.1,2.4,Iris-virginica
6.4,3.2,5.3,2.3,Iris-virginica
6.5,3.0,5.5,1.8,Iris-virginica
7.7,3.8,6.7,2.2,Iris-virginica
7.7,2.6,6.9,2.3,Iris-virginica
6.0,2.2,5.0,1.5,Iris-virginica
6.9,3.2,5.7,2.3,Iris-virginica
5.6,2.8,4.9,2.0,Iris-virginica
7.7,2.8,6.7,2.0,Iris-virginica
6.3,2.7,4.9,1.8,Iris-virginica
6.7,3.3,5.7,2.1,Iris-virginica
7.2,3.2,6.0,1.8,Iris-virginica
6.2,2.8,4.8,1.8,Iris-virginica
6.1,3.0,4.9,1.8,Iris-virginica
6.4,2.8,5.6,2.1,Iris-virginica
7.2,3.0,5.8,1.6,Iris-virginica
7.4,2.8,6.1,1.9,Iris-virginica
7.9,3.8,6.4,2.0,Iris-virginica

转载： scikit-learn学习之K最近邻算法(KNN)

标签：

原文地址：http://www.cnblogs.com/harvey888/p/5852741.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！