介绍
KNN算法全名为k-Nearest Neighbor，就是K最近邻的意思。KNN也是一种分类算法。但是与之前说的决策树分类算法相比，这个算法算是最简单的一个了。算法的主要过程为：
1、给定一个训练集数据，每个训练集数据都是已经分好类的。
2、设定一个初始的测试数据a，计算a到训练集所有数据的欧几里得距离，并排序。
3、选出训练集中离a距离最近的K个训练集数据。
4、比较k个训练集数...
分类：
编程语言 时间：
2015-01-12 09:32:18
阅读次数：
599
LSA and SVD
LSA(隐性语义分析)的目的是要从文本中发现隐含的语义维度-即“Topic”或者“Concept”。我们知道，在文档的空间向量模型（VSM）中，文档被表示成由特征词出现概率组成的多维向量，这种方法的好处是可以将query和文档转化成同一空间下的向量计算相似度，可以对不同词项赋予不同的权重，在文本检索、分类、聚类问题中都得到了广泛应用，在基于贝叶斯算法及KNN算法的ne...
分类：
其他好文 时间：
2015-01-09 20:59:37
阅读次数：
265
reference ：http://my.oschina.net/u/175377/blog/84420目录[-]Scikit Learn: 在python中机器学习载入示例数据一个改变数据集大小的示例：数码数据集(digits datasets)学习和预测分类K最近邻(KNN)分类器训练集和测试集...
分类：
其他好文 时间：
2015-01-03 17:05:35
阅读次数：
694
k-近邻算法(kNN)：测量不同特征值之间的距离方法进行分类。 kNN的工作原理：存在一个样本数据集合(训练样本集)，并且样本集中每个数据都存在标签，输入没有标签的新数据后，将新数据的每个特征与样本集数据对应的特征进行比较，然后算法提取样本集中特征最相似数据的分类标签。一般来说，只选择样本数据...
分类：
其他好文 时间：
2014-12-30 16:48:27
阅读次数：
209
基于信息检索课程，完成实现了一个文本分类系统，现记录一下整个实现过程。
文本分类以文本数据为分类对象，本质上是机器学习方法在信息检索领域的一种应用，可以继承机器学习领域的很多概念和方法，但同时也需要结合信息检索领域的特点进行处理。主要研究的方向是：文本分词方法、文本特征提取方法、分类算法。
本人主要使用了5种常用的分类算法，分别是kNN、Rocchio、NBC、SVM和ANN，对每种算法的结果...
分类：
其他好文 时间：
2014-12-29 16:49:34
阅读次数：
185
之前写了两篇文章一个是KNN算法的C++串行实现，另一个是CUDA计算向量的欧氏距离。那么这篇文章就可以说是前两篇文章的一个简单的整合。在看这篇文章之前可以先阅读前两篇文章。
一、生成数据集
现在需要生成一个N个D维的数据，没在一组数据都有一个类标，这个类标根据第一维的正负来进行标识样本数据的类标：Positive and Negative。
#!/usr/bin/python
i...
分类：
编程语言 时间：
2014-12-26 16:40:41
阅读次数：
200
这是个KNN算法的另一实例，计算Dating的可能性。import numpy as npimport osimport operatorimport matplotlibimport matplotlib.pyplot as pltdef classify(inX, dataSet, labels...
分类：
其他好文 时间：
2014-12-21 17:50:01
阅读次数：
266
KNN=K-Nearest Neighbour原理：我们取前K个相似的数据（排序过的）中概率最大的种类，作为预测的种类。通常，K不会大于20。下边是一个简单的实例，具体的含义在注释中：import numpy as npimport operatorimport osdef createDataSe...
分类：
编程语言 时间：
2014-12-21 15:10:40
阅读次数：
180
1.K-means:聚类算法，无监督输入：k, data[n];（1） 选择k个初始中心点，例如c[0]=data[0],…c[k-1]=data[k-1];（2） 对于data[0]….data[n], 分别与c[0]…c[k-1]比较，假定与c[i]差值最少，就标记为i;（3） 对于所有标记为i...
分类：
其他好文 时间：
2014-12-18 23:33:31
阅读次数：
307
KNN（K Nearest Neighbors,K近邻 ）算法是机器学习所有算法中理论最简单，最好理解的一种监督学习算法。KNN是一种基于实例的学习，通过计算新数据与训练数据特征值之间的距离，然后选取K（K>=1）个距离最近的邻居进行分类判断（投票法）或者回归。使用KNN算法时我们必须有接近实际数据的训练样本数据。K-近邻算法必须保存全部数据集，如果训练数据集的很大，必须使用大量的存储空间。此外,由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。k-近邻算法的另一个缺陷是它无法给出任何数据的基...
分类：
编程语言 时间：
2014-12-16 21:04:43
阅读次数：
286
