码迷,mamicode.com
首页 > 其他好文 > 详细

K近邻法

时间:2017-07-31 21:12:55      阅读:178      评论:0      收藏:0      [点我收藏+]

标签:比较   k近邻   它的   向量空间   数据   决策   算法   类别   一个   

  K近邻法是机器学习所有算法中理论最简单,最好理解的算法。它是一种基本的分类与回归方法,它的输入为实例的特征向量,通过计算新数据与训练数据特征值之间的距离,然后选取K(K>=1)个距离最近的邻居进行分类判断(投票法)或者回归。如果K=1,那么新数据被简单地分配给其近邻的类。

  对于分类问题:输出实例的类别。分类时,对于新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。

  对于回归问题:输出为实例的值。回归时,对于新的实例,取其k个最近邻的训练实例的平均值为预测值。

  k近邻法分类的直观理解:给定一个训练数据集,对于新的输入实例,在训练集中找到与该实例最近邻的k个实例。这k个实例的多数属于某个类别,则该输入实例就划分为这个类别。

  k近邻法不具有显式的学习过程,它是直接预测。实际上它是利用训练数据集对特征向量空间进行划分,并且作为其分类的“模型”

  K近邻法的三要素为:K值选择    距离度量  分类决策规则(取均值的规则)。当k=1时,称为最近邻算法。应用中,k值一般取一个较小的数值,通常采用交叉验证法来选用最优的k值,就是比较不同k值时的交叉验证平均误差率,选择误差率最小的那个k值。

  KNN算法要求数据的所有特征都可以做可比较的量化。

K近邻法

标签:比较   k近邻   它的   向量空间   数据   决策   算法   类别   一个   

原文地址:http://www.cnblogs.com/acm-jing/p/7265649.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!