reference ：http://my.oschina.net/u/175377/blog/84420目录[-]Scikit Learn: 在python中机器学习载入示例数据一个改变数据集大小的示例：数码数据集(digits datasets)学习和预测分类K最近邻(KNN)分类器训练集和测试集...
分类：
其他好文 时间：
2015-01-03 17:05:35
阅读次数：
694
一、kNN算法分析 K最近邻（k-Nearest Neighbor，KNN）分类算法可以说是最简单的机器学习算法了。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。 ...
分类：
编程语言 时间：
2014-12-15 23:30:03
阅读次数：
605
上期与大家分享的传统分类算法都是建立在判别函数的基础上，通过判别函数值来确定目标样本所属的分类，这类算法有个最基本的假设：线性假设。今天继续和大家分享下比较现代的分类算法：决策树和神经网络。这两个算法都来源于人工智能和机器学习学科。
首先和小伙伴介绍下数据挖掘领域比较经典的Knn（nearest neighbor）算法（最近邻算法）
算法基本思想：
Step1：计算出待测样本与学习集中所有点...
分类：
编程语言 时间：
2014-12-09 10:40:01
阅读次数：
322
kNN算法，即K最近邻(k-NearestNeighbor)分类算法，是最简单的机器学习算法之一，算法思想很简单：从训练样本集中选择k个与测试样本“距离”最近的样本，这k个样本中出现频率最高的类别即作为测试样本的类别。
分类过程如下：
1 首先我们事先定下k值（就是指k近邻方法的k的大小，代表对于一个待分类的数据点，我们要寻找几个它的邻居）。这边为了说明问题，我们取两个k值，分别为3和5；
2 根据事先确定的距离度量公式（如：欧氏距离），得出待分类数据点和所有已知类别的样本点中，距离最近的k个样本。
3 统...
分类：
编程语言 时间：
2014-12-06 08:51:50
阅读次数：
365
输入：“用户—物品”评分矩阵
输出：（1）用户对某个物品喜欢程度的评分；（2）对于用户，n个推荐的物品列表
1. 基于用户的最近邻推荐（user-based cf）
算法基本假设：（1）如果用户过去有相似的偏好，那么他们未来也会有相似的偏好；（2）用户的偏好不随时间变化而变化
用户相似度计算：user-based cf中pearson相关系数比较好；item-bas...
分类：
其他好文 时间：
2014-12-03 00:25:30
阅读次数：
206
简介kd树（k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。一个KDTree的例子上图的树就是一棵KDTree，形似二叉搜索树，其实KDTree就是二叉搜索树的变种。这里的K = 3.首先来看下树的组织原则。将每一个元组按0排序（第一项序号为0，第二项序号为1，第三项序号为2），在树的第n层，第 n%3 项被用粗...
分类：
其他好文 时间：
2014-11-26 19:04:33
阅读次数：
286
算法要点：knn（k-nearstneighbor）1：k：=最近邻点数，D：=training set of data2：for (待测点z)3：计算z和每个样例（x，y）的距离4：选择离z最近的k个训练样例的集合5：统计第4步得到的点哪一类多，则z就属于哪一类6：end for数据：librar...
分类：
编程语言 时间：
2014-11-21 23:14:59
阅读次数：
872
在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，如果k值太小就意味着整体模型变得复杂，容易发生过拟合，即如果邻近的实例点恰巧是噪声，预测就会出错，极...
分类：
其他好文 时间：
2014-11-15 20:10:25
阅读次数：
420
kNN算法算法优缺点：优点：精度高、对异常值不敏感、无输入数据假定缺点：时间复杂度和空间复杂度都很高适用数据范围:数值型和标称型算法的思路：KNN算法（全称K最近邻算法），算法的思想很简单，简单的说就是物以类聚，也就是说我们从一堆已知的训练集中找出k个与目标最靠近的，然后看他们中最多的分类是哪个，就...
分类：
编程语言 时间：
2014-11-14 21:00:57
阅读次数：
321
