码迷,mamicode.com
首页 > 其他好文 > 详细

【读书笔记】机器学习实战-kNN(1)

时间:2015-04-10 22:36:02      阅读:233      评论:0      收藏:0      [点我收藏+]

标签:knn   机器学习   

k临近算法(kNN)采用测量不同特征值之间的距离方法进行分类,也是一种非常直观的方法。本文主要记录了使用kNN算法改进约会网站的例子。

任务一:分类算法classify0
就是使用距离公式计算特征值之间的距离,选择最邻近的k个点,通过统计这k个点的结果来得出样本的预测值。
tile函数用法在这里
argsort函数在这里

def classify0(inX,dataset,labels,k):    
    #shape 返回行列数,shape[0]是行数,有多少元组
    datasetsize = dataset.shape[0]           
    #tile 复制inX,使其与dataset一样大小
    diffmat = tile(inX,(datasetsize,1)) - dataset 
    #**表示乘方
    sqdiffmat = diffmat ** 2                 
    #按行将计算结果求和
    sqdistances = sqdiffmat.sum(axis=1)            
    distances = sqdistances ** 0.5
    #使用argsort排序,返回索引值  
    sortedDistIndicies = distances.argsort()
    #用于计数,计算结果
    classcount = {}                                
    for i in range(k) :
        voteIlabel = labels[sortedDistIndicies[i]]
        classcount[voteIlabel] = classcount.get(voteIlabel,0)+1
    #按照第二个元素降序排列
    sortedClasscount = sorted(classcount.iteritems(),key=operator.itemgetter(1),reverse=True)  
    #返回出现次数最多的那一个label的值
    return sortedClasscount[0][0]           

任务二:读入数据

注意这里书上写错了,应该读入的是datingTestSet2.txt而不是datingTestSet.txt
书上的数据和例子下载:在这里

def file2matrix(filename):                         
    fr = open(filename)
    #打开文件,按行读入
    arrayOLines = fr.readlines()    
    #获得文件行数 
    numberOfLines = len(arrayOLines)  
    #创建m行n列的零矩阵 
    returnMat = zeros((numberOfLines,3))          
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        line = line.strip()
        #删除行前面的空格
        listFromLine = line.split(‘\t‘)
         #根据分隔符划分
        returnMat[index,:] = listFromLine[0:3]
        #取得每一行的内容存起来
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return returnMat,classLabelVector

任务三:使用Matplotlib画图

安装Matplotlib时还需要numpy, dateutil, pytz, pyparsing, six, setuptools这几个包。可以在这里下载到,挺全的。加入到python27\Lib\site-packages目录下。

在powershell中cd到datingTestSet2.txt所在文件夹
输入python命令并且输入以下命令
粘贴:

import numpy
import matplotlib
import matplotlib.pyplot as plt
import kNN
reload(kNN)
datingDataMat,datingLabels=kNN.file2matrix(‘datingTestSet2.txt‘)
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*numpy.array(datingLabels),15.0*numpy.array(datingLabels))
plt.show()

下面使用后两个特征的图片
技术分享

将scatter函数修改为:

ax.scatter(datingDataMat[:,0],datingDataMat[:,1],15.0*numpy.array(datingLabels),15.0*numpy.array(datingLabels))

使用前两个特征的图片
技术分享

任务四:归一化

免除较大数值的数据给分类带来的影响,将每一项数据归一化为0~1之间的数字。

def autoNorm(dataSet):
    #找出样本集中的最小值
    minVals = dataSet.min(0)          
    #找出样本集中的最大值
    maxVals = dataSet.max(0)        
    #最大最小值之间的差值
    ranges = maxVals - minVals          
    #创建与样本集一样大小的零矩阵
    normDataSet = zeros(shape(dataSet))           
    m = dataSet.shape[0]                         
    #样本集中的元素与最小值的差值
    normDataSet = dataSet - tile(minVals, (m,1))
    #数据相除,归一化
    normDataSet = normDataSet/tile(ranges, (m,1))  
    return normDataSet, ranges, minVals

任务五:

分类并检验书中所给的数据

def datingClassTest():
    #选取多少数据测试分类器
    hoRatio = 0.10
    #从datingTestSet2.txt中获取数据
    datingDataMat,datingLabels = file2matrix(‘datingTestSet2.txt‘)       
    #归一化数据
    normMat, ranges, minVals = autoNorm(datingDataMat)         
    m = normMat.shape[0]
    #设置测试个数
    numTestVecs = int(m*hoRatio)
    #记录错误数量
    errorCount = 0.0                               
    for i in range(numTestVecs):
        #分类算法
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)  
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])
        if (classifierResult != datingLabels[i]): errorCount += 1.0  
    #计算错误率
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))
    print errorCount

出错率为5%
技术分享

最后是kNN.py文件


#encoding:utf-8
from numpy import *
import operator
#创建数据集
def createDataSet():                              
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = [‘A‘,‘A‘,‘B‘,‘B‘]
    return group, labels
#kNN实现0
def classify0(inX,dataset,labels,k):    
    #shape 返回行列数,shape[0]是行数,有多少元组
    datasetsize = dataset.shape[0]           
    #tile 复制inX,使其与dataset一样大小
    diffmat = tile(inX,(datasetsize,1)) - dataset 
    #**表示乘方
    sqdiffmat = diffmat ** 2                 
    #按行将计算结果求和
    sqdistances = sqdiffmat.sum(axis=1)            
    distances = sqdistances ** 0.5
    #使用argsort排序,返回索引值  
    sortedDistIndicies = distances.argsort()
    #用于计数,计算结果
    classcount = {}                                
    for i in range(k) :
        voteIlabel = labels[sortedDistIndicies[i]]
        classcount[voteIlabel] = classcount.get(voteIlabel,0)+1
    #按照第二个元素降序排列
    sortedClasscount = sorted(classcount.iteritems(),key=operator.itemgetter(1),reverse=True)  
    #返回出现次数最多的那一个label的值
    return sortedClasscount[0][0]                  
#从txt中读入数据  
def file2matrix(filename):                         
    fr = open(filename)
    #打开文件,按行读入
    arrayOLines = fr.readlines()    
    #获得文件行数 
    numberOfLines = len(arrayOLines)  
    #创建m行n列的零矩阵 
    returnMat = zeros((numberOfLines,3))          
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        line = line.strip()
        #删除行前面的空格
        listFromLine = line.split(‘\t‘)
         #根据分隔符划分
        returnMat[index,:] = listFromLine[0:3]
        #取得每一行的内容存起来
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return returnMat,classLabelVector
#归一化数据
def autoNorm(dataSet):
    #找出样本集中的最小值
    minVals = dataSet.min(0)          
    #找出样本集中的最大值
    maxVals = dataSet.max(0)        
    #最大最小值之间的差值
    ranges = maxVals - minVals          
    #创建与样本集一样大小的零矩阵
    normDataSet = zeros(shape(dataSet))           
    m = dataSet.shape[0]                         
    #样本集中的元素与最小值的差值
    normDataSet = dataSet - tile(minVals, (m,1))
    #数据相除,归一化
    normDataSet = normDataSet/tile(ranges, (m,1))  
    return normDataSet, ranges, minVals

def datingClassTest():
    #选取多少数据测试分类器
    hoRatio = 0.50
    #从datingTestSet2.txt中获取数据
    datingDataMat,datingLabels = file2matrix(‘datingTestSet2.txt‘)       
    #归一化数据
    normMat, ranges, minVals = autoNorm(datingDataMat)         
    m = normMat.shape[0]
    #设置测试个数
    numTestVecs = int(m*hoRatio)
    #记录错误数量
    errorCount = 0.0                               
    for i in range(numTestVecs):
        #分类算法
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)  
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])
        if (classifierResult != datingLabels[i]): errorCount += 1.0  
    #计算错误率
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))
    print errorCount

【读书笔记】机器学习实战-kNN(1)

标签:knn   机器学习   

原文地址:http://blog.csdn.net/iboxty/article/details/44982013

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!