knn特点优点：精度高，对异常值不明感，无数据输入嘉定缺点：计算复杂度高，空间复杂度高适用范围：数值型和标称型knn算法的伪代码1、计算已知类别数据集中的点与当前之间的距离2、按照距离递增次序排序3、选取与当前点距离最6，小的k个点4、确定前k个点所在的类别的出现频率5、返回前k个点出现频率最高的类...
分类：
其他好文 时间：
2015-03-18 23:12:36
阅读次数：
801
k-d树（k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。
索引结构中相似性查询有两种基本的方式：一种是范围查询（range searches），另一种是K近邻查询（K-neighbor searches）。范围查询就是给定查询点和查询距离的阈值，从数据集中找出所有与查询点距离小于阈值的数据；K近邻查询...
分类：
编程语言 时间：
2015-03-15 10:56:44
阅读次数：
262
kNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别。...
分类：
编程语言 时间：
2015-02-25 18:44:43
阅读次数：
283
一、算法概述1、kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。最简单平庸的分类器或许是那种死记硬背式的分类器，记住全部的训练数据，对于新的数据则直接和训练数据匹配，假设存在同样属性的训练数据，则直接用它的分类来作为新数据的分类。这样的方式有一个...
分类：
编程语言 时间：
2015-02-10 21:39:16
阅读次数：
201
机器学习中常常要用到分类算法，在诸多的分类算法中有一种算法名为k-近邻算法，也称为kNN算法。
一、kNN算法的工作原理
二、适用情况
三、算法实例及讲解
---1.收集数据
---2.准备数据
---3.设计算法分析数据
---4.测试算法
一、kNN算法的工作原理
官方解释：存在一个样本数据集，也称作训练样本集，并且样本中每个数据都存在标签，即我们知道样...
分类：
编程语言 时间：
2015-01-26 15:11:47
阅读次数：
304
机器学习中常常要用到分类算法，在诸多的分类算法中有一种算法名为k-近邻算法，也称为kNN算法。一、kNN算法的工作原理二、适用情况三、算法实例及讲解 ---1.收集数据 ---2.准备数据 ---3.设计算法分析数据 ---4.测试算法一、kNN算法的工作原理官方解释：存在一个样本数据集，也...
分类：
编程语言 时间：
2015-01-26 14:54:34
阅读次数：
267
Python实现KNN算法
KNN算法的实际用处很多，主要用于分类阶段，是一个基础的分类算法。KNN主要基于距离的计算，一般可以在原始的欧氏空间中计算样本之间的距离。改进版本有：先特征提取到一个更加鉴别的空间中，然后计算距离；或者先使用metric learning度量学习的技术来获得一个鉴别的度量空间，然后计算样本间的马氏距离。
不管怎么说，KNN在很多算法的分类阶段都可以用到，我们这里用python实现KNN。...
分类：
编程语言 时间：
2015-01-16 19:19:41
阅读次数：
233
介绍
KNN算法全名为k-Nearest Neighbor，就是K最近邻的意思。KNN也是一种分类算法。但是与之前说的决策树分类算法相比，这个算法算是最简单的一个了。算法的主要过程为：
1、给定一个训练集数据，每个训练集数据都是已经分好类的。
2、设定一个初始的测试数据a，计算a到训练集所有数据的欧几里得距离，并排序。
3、选出训练集中离a距离最近的K个训练集数据。
4、比较k个训练集数...
分类：
编程语言 时间：
2015-01-12 09:32:18
阅读次数：
599
LSA and SVD
LSA(隐性语义分析)的目的是要从文本中发现隐含的语义维度-即“Topic”或者“Concept”。我们知道，在文档的空间向量模型（VSM）中，文档被表示成由特征词出现概率组成的多维向量，这种方法的好处是可以将query和文档转化成同一空间下的向量计算相似度，可以对不同词项赋予不同的权重，在文本检索、分类、聚类问题中都得到了广泛应用，在基于贝叶斯算法及KNN算法的ne...
分类：
其他好文 时间：
2015-01-09 20:59:37
阅读次数：
265
之前写了两篇文章一个是KNN算法的C++串行实现，另一个是CUDA计算向量的欧氏距离。那么这篇文章就可以说是前两篇文章的一个简单的整合。在看这篇文章之前可以先阅读前两篇文章。
一、生成数据集
现在需要生成一个N个D维的数据，没在一组数据都有一个类标，这个类标根据第一维的正负来进行标识样本数据的类标：Positive and Negative。
#!/usr/bin/python
i...
分类：
编程语言 时间：
2014-12-26 16:40:41
阅读次数：
200
