一、kNN算法分析 K最近邻（k-Nearest Neighbor，KNN）分类算法可以说是最简单的机器学习算法了。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。 ...
分类：
编程语言 时间：
2014-12-15 23:30:03
阅读次数：
605
KNN k临近算法遍历所有训练样本，求距离最近的点的结论，作为最后的预测结果MR版：map求样本距离（key：样本，value：距离），combine求的最小值，是过滤功能，reduce就有一个求得距离最小值贝叶斯：贝叶斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)贝叶斯将在属性条件下的...
分类：
其他好文 时间：
2014-12-15 10:21:20
阅读次数：
121
简单地说，k-近邻算法是采用测量不同特征值之间的距离方法进行分类。优缺点：优点精确度高、对异常值不敏感、无数据输入假定。缺点计算复杂度高、空间复杂度高。使用数据范围数值型和标称型。例子：电影名称打斗镜头接吻镜头已知电影类型California3104爱情片Gongfu995动作片算法伪代码：对未知类...
分类：
编程语言 时间：
2014-12-12 13:16:52
阅读次数：
183
上期与大家分享的传统分类算法都是建立在判别函数的基础上，通过判别函数值来确定目标样本所属的分类，这类算法有个最基本的假设：线性假设。今天继续和大家分享下比较现代的分类算法：决策树和神经网络。这两个算法都来源于人工智能和机器学习学科。
首先和小伙伴介绍下数据挖掘领域比较经典的Knn（nearest neighbor）算法（最近邻算法）
算法基本思想：
Step1：计算出待测样本与学习集中所有点...
分类：
编程语言 时间：
2014-12-09 10:40:01
阅读次数：
322
惰性学习法：简单的存储数据，一直等待，直到给定一个测试元组时才进行泛化，根据对存储的元组的相似性进行分类。kNN（k近邻）分类方法于20世纪50年代提出，由于计算密集型算法，因此到60年代之后随着计算能力增强后才逐步应用。
kNN基于类比学习，将给定的测试元组表示为n维空间中的一个点，n代表属性数目。然后使用某种距离度量方式来寻找与给定测试元组最近的k个训练元组，对这个k个训练元组的类别进行统计...
分类：
其他好文 时间：
2014-12-08 17:47:16
阅读次数：
262
kNN算法，即K最近邻(k-NearestNeighbor)分类算法，是最简单的机器学习算法之一，算法思想很简单：从训练样本集中选择k个与测试样本“距离”最近的样本，这k个样本中出现频率最高的类别即作为测试样本的类别。
分类过程如下：
1 首先我们事先定下k值（就是指k近邻方法的k的大小，代表对于一个待分类的数据点，我们要寻找几个它的邻居）。这边为了说明问题，我们取两个k值，分别为3和5；
2 根据事先确定的距离度量公式（如：欧氏距离），得出待分类数据点和所有已知类别的样本点中，距离最近的k个样本。
3 统...
分类：
编程语言 时间：
2014-12-06 08:51:50
阅读次数：
365
国际权威的学术组织 ICDM（theIEEEInternational ConferenceonDataMining）曾评选出了数据挖掘领域的十大经典算法：C4.5，k-Means，SVM，Apriori，EM，PageRank，AdaBoost，kNN，Naive Bayes和CART。其实不仅仅...
分类：
编程语言 时间：
2014-11-26 10:57:41
阅读次数：
295
算法要点：knn（k-nearstneighbor）1：k：=最近邻点数，D：=training set of data2：for (待测点z)3：计算z和每个样例（x，y）的距离4：选择离z最近的k个训练样例的集合5：统计第4步得到的点哪一类多，则z就属于哪一类6：end for数据：librar...
分类：
编程语言 时间：
2014-11-21 23:14:59
阅读次数：
872
kNN算法算法优缺点：优点：精度高、对异常值不敏感、无输入数据假定缺点：时间复杂度和空间复杂度都很高适用数据范围:数值型和标称型算法的思路：KNN算法（全称K最近邻算法），算法的思想很简单，简单的说就是物以类聚，也就是说我们从一堆已知的训练集中找出k个与目标最靠近的，然后看他们中最多的分类是哪个，就...
分类：
编程语言 时间：
2014-11-14 21:00:57
阅读次数：
321
