网上介绍K-近邻算法的例子很多，其Python实现版本基本都是来自于机器学习的入门书籍《机器学习实战》，虽然K-近邻算法本身很简单，但很多初学者对其Python版本的源代码理解不够，所以本文将对其源代码进行分析。
什么是K-近邻算法？
简单的说，K-近邻算法采用不同特征值之间的距离方法进行分类。所以它是一个分类算法。
优点：无数据输入假定，对异常值不敏感
缺点：复杂度高
...
分类：
编程语言 时间：
2014-10-10 23:56:14
阅读次数：
326
机器学习的入门书籍《机器学习实战》使用的语言是python。下面介绍利用Python开始“机器学习”的准备工作。（环境：CentOS 7)
1, 两个重要的包
NumPy 和 SciPy。（http://scipy.org/scipylib/download.html ）主要是处理数值运算，矩阵操作等。
注:Sci是Science的缩写。
官网介绍了安装方法，可以手动安装，也可以使...
分类：
编程语言 时间：
2014-10-10 18:20:44
阅读次数：
232
老规矩，Talk is cheap, show me your code.#-*-coding:utf-8-*-from math import logdef calcShannonEnt(datsSet): #长度 numEntries = len(dataSet) #字典统计 ...
分类：
其他好文 时间：
2014-10-04 14:58:46
阅读次数：
218
目的：利用kNN识别数字0-9材料：32*32的数字方阵（保存形式是文本文件）#-*-coding:utf-8-*-from numpy import *def img2vector(filename): #生成一个1*1024的array（zeros是numpy的函数，至于array与lis...
分类：
其他好文 时间：
2014-10-04 02:25:05
阅读次数：
234
接着以前的《SAS编程与数据挖掘商业案例》，之前全是sas的基础知识，现在开始进入数据挖掘方面笔记，本文主要介绍数据挖掘基本流程以及应用方向，并以logistic回归为例说明。
一：数据挖掘综述
衡量一个数据挖掘模型价值的唯一标准就是商业目标，为达到一个商业目标，有很多种方法，只有高效解决商业目标的方法才是最牛的方法，即使是看似简单的方法，只要能高效解决商业目标，我们就认为是牛的方法；...
分类：
其他好文 时间：
2014-09-29 18:29:01
阅读次数：
397
《机器学习实战》终于到手了，开始学习了。由于本人python学的比较挫，所以学习笔记里会有许多python的内容。1、 python及其各种插件的安装 由于我使用了win8.1 64位系统（正版的哦），所以像numpy 和 matploblib这种常用的插件不太好装，解决方案就是Anaconda-....
分类：
其他好文 时间：
2014-09-29 16:02:01
阅读次数：
317
信用评分卡模型在国外是一种成熟的预测方法，尤其在信用风险评估以及金融风险控制领域更是得到了比较广泛的使用，其原理是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型。
本文重点介绍模型变量WOE以及IV原理，为表述方便，本文将模型目标标量为1记为违约用户，对于目标变量为0记为正常用户；则WOE(weight
of Evidenc...
分类：
其他好文 时间：
2014-09-26 19:39:28
阅读次数：
430
logistic回归又称logistic回归分析，主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率。相关DEMO参见:混沌数学之离散点集图形DEMOlogistic的用途： 一、寻找危险因素，正如上面所说的寻找某一疾病的危险因素等。 二、预测...
分类：
其他好文 时间：
2014-09-15 12:36:58
阅读次数：
233
机器学习(4)之Logistic回归1. 算法推导 与之前学过的梯度下降等不同，Logistic回归是一类分类问题，而前者是回归问题。回归问题中，尝试预测的变量y是连续的变量，而在分类问题中，y是一组离散的，比如y只能取{0,1}。 假设一组样本为这样如图所示，如果需要用线性回归来拟合这些样本...
分类：
其他好文 时间：
2014-09-11 23:45:12
阅读次数：
348
之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
分类：
其他好文 时间：
2014-09-10 15:30:40
阅读次数：
317
