k临近算法(kNN)采用测量不同特征值之间的距离方法进行分类，也是一种非常直观的方法。本文主要记录了使用kNN算法改进约会网站的例子。任务一：分类算法classify0
就是使用距离公式计算特征值之间的距离，选择最邻近的k个点，通过统计这k个点的结果来得出样本的预测值。
tile函数用法在这里
argsort函数在这里def classify0(inX,dataset,labels,k):...
分类：
其他好文 时间：
2015-04-10 22:36:02
阅读次数：
233
from math import log
#以决策为标准计算信息熵
def calcShannonEnt(dataSet):
numEntries = len(dataSet)
labelCounts = {}
for featVec in dataSet:
currentLabel = featVec[-1]
if cu...
分类：
其他好文 时间：
2015-04-09 21:56:49
阅读次数：
265
1、logistic回归是统计学习中的经典分类方法。
最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。
两者都是对数线性模型。
2、二项logstic分类模型：用于二类分布。
多项logstic分类模型：用于多类分布。
3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。
...
分类：
其他好文 时间：
2015-04-05 09:14:27
阅读次数：
346
原文http://blog.csdn.net/maverick1990/article/details/11721453欠拟合与过拟合概念本次课程大纲：1、局部加权回归：线性回归的变化版本2、概率解释：另一种可能的对于线性回归的解释3、Logistic回归：基于2的一个分类算法4、感知器算法：对于3...
分类：
其他好文 时间：
2015-03-28 18:33:49
阅读次数：
179
对线性回归，logistic回归和一般回归 【转自】：http://www.cnblogs.com/jerrylead JerryLead 2011年2月27日 作为一个机器学习初学者，认识有限，表述也多有错误，望大家多多批评指正。1 摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后...
分类：
其他好文 时间：
2015-03-18 10:22:16
阅读次数：
133
这篇文章主要是结合机器学习实战将推荐算法和SVD进行相应的结合
任何一个矩阵都可以分解为SVD的形式
其实SVD意义就是利用特征空间的转换进行数据的映射，后面将专门介绍SVD的基础概念，先给出python，这里先给出一个简单的矩阵，表示用户和物品之间的关系
这里我自己有个疑惑？
对这样一个DATA = U（Z）Vt
这里的U和V真正的几何含义 : 书上的含义是U将物品映射到了新的特...
分类：
编程语言 时间：
2015-03-17 21:56:23
阅读次数：
276
最近因为论文原因在学习机器学习，看的一本叫做《机器学习实战》的书，看了看还是不错的，因为其中既有原理又有实例。今天载使用matplotlib进行画图时，发现中文会显示为小方块，这个问题真是神烦，折腾了一下午，终于搞定了，下面记录一下我解决的过程。 1. 查看matplotlib支持的中文字体 ...
分类：
系统相关 时间：
2015-03-17 20:02:35
阅读次数：
174
1安装python2安装sublimetext23安装NumPy、Matplotlibhttp://book.51cto.com/art/201401/426522.htmMatplotlib使用教程http://liam0205.me/2014/09/11/matplotlib-tutorial-...
分类：
编程语言 时间：
2015-03-13 23:42:54
阅读次数：
265
本节知识点： 贝叶斯统计及规范化 在线学习 如何使用机器学习算法解决具体问题：设定诊断方法，迅速发现问题 贝叶斯统计及规范化（防止过拟合的方法） 就是要找更好的估计方法来减少过度拟合情况的发生。 回顾一下，线性回归中使用的估计方法是最小二乘法，logistic 回归是条件概率的最大似然估计，朴素贝叶...
分类：
其他好文 时间：
2015-03-13 22:08:45
阅读次数：
417
广义线性模型
广义线性模型应满足三个假设：
第一个假设为给定X和参数theta,Y的分布服从某一指数函数族的分布。
第二个假设为给定了X，目标是输出 X条件下T(y)的均值，这个T(y)一般等于y，也有不等的情况，
第三个假设是对假设一种的变量eta做出定义。
指数函数族
前面提到了指数函数族，这里给出定义，满足以下形式的函数构成了指数函数族：...
分类：
其他好文 时间：
2015-03-12 22:33:16
阅读次数：
216
