标签:比较 k近邻 它的 向量空间 数据 决策 算法 类别 一个
K近邻法是机器学习所有算法中理论最简单,最好理解的算法。它是一种基本的分类与回归方法,它的输入为实例的特征向量,通过计算新数据与训练数据特征值之间的距离,然后选取K(K>=1)个距离最近的邻居进行分类判断(投票法)或者回归。如果K=1,那么新数据被简单地分配给其近邻的类。
对于分类问题:输出实例的类别。分类时,对于新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。
对于回归问题:输出为实例的值。回归时,对于新的实例,取其k个最近邻的训练实例的平均值为预测值。
k近邻法分类的直观理解:给定一个训练数据集,对于新的输入实例,在训练集中找到与该实例最近邻的k个实例。这k个实例的多数属于某个类别,则该输入实例就划分为这个类别。
k近邻法不具有显式的学习过程,它是直接预测。实际上它是利用训练数据集对特征向量空间进行划分,并且作为其分类的“模型”
K近邻法的三要素为:K值选择 距离度量 分类决策规则(取均值的规则)。当k=1时,称为最近邻算法。应用中,k值一般取一个较小的数值,通常采用交叉验证法来选用最优的k值,就是比较不同k值时的交叉验证平均误差率,选择误差率最小的那个k值。
KNN算法要求数据的所有特征都可以做可比较的量化。
标签:比较 k近邻 它的 向量空间 数据 决策 算法 类别 一个
原文地址:http://www.cnblogs.com/acm-jing/p/7265649.html