k近邻法（k-nearest neighbor，k-NN） 输入：实例的特征向量，对应于特征空间的点；输出：实例的类别，可以取多类。 分类时，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。 实例类别已定，不具有显式的学习过程。k近邻法实际上利用训练数据集对特征 向量空间进行划分，并作...
分类：
其他好文 时间：
2015-06-11 21:05:23
阅读次数：
227
（一）SVM背景资料简介支持向量机(Support Vector Machine)这是Cortes和Vapnik至1995首次提出，样本、非线性及高维模式识别中表现出很多特有的优势，并可以推广应用到函数拟合等其它机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原...
分类：
其他好文 时间：
2015-06-11 16:48:54
阅读次数：
1191
损失函数和风险函数 损失函数（loss function），代价函数（cost function） 用来度量预测错误的程度。常用的如下： 0-1损失函数（0-1 loss function） 平方损失函数（quadratic loss function） 绝对损失函数（absolute loss f...
分类：
其他好文 时间：
2015-06-10 00:52:21
阅读次数：
162
感知机 假设：输入空间是 x?Rn 输出空间是 y＝{+1,-1} 由如下2.1函数进行分类称之为感知器 其中，w为权值向量，b为偏置 sign(.)是符号函数，记为如下所示： 感知机是一种线性分类模型，属于判别模型。 感知机模型的假设空间是定义在特征空间中的 所有线性分类模型（linear cla...
分类：
其他好文 时间：
2015-06-07 21:24:44
阅读次数：
120
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2015-06-06 06:48:06
阅读次数：
124
Naive Bayes是比较常用的分类器，因为思想比较简单。之所以说是naive，是因为他假设用于分类的特征在类确定的条件下是条件独立的，这个假设使得分类变得很简单，但会损失一定的精度。具体推导可以看《统计学习方法》经过推导我们可知y=argMaxP(Y=ck)*P(X=x|Y=ck)。那么我们需要...
分类：
其他好文 时间：
2015-06-05 10:02:59
阅读次数：
103
EM算法，之前上模式识别课上，推导过，在《统计学习方法》中没耐性的看过几次，个人感觉讲的过于理论，当时没怎么看懂，后来学lda，想要自己实现一下em算法，又忘记了，看来还是学的不够仔细，认识的不够深刻，现在做点笔记。本文是看了几篇blog和《统计学习方法》之后做的笔记，只是用来给自己做记录，很多.....
分类：
编程语言 时间：
2015-05-10 17:09:57
阅读次数：
357
统计学习统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习（statical machine learning）.统计学习的方法是基于数据构建统计模型从而对数据进行预测和分析。统计学习由监督学习、非监督学习、半监督学习和强化学习等组成。统...
分类：
其他好文 时间：
2015-05-10 00:49:46
阅读次数：
248
1.感知机：二类分类的线性模型，输入为实例的特征向量，输出为某类别，取+1和-1.目的在求出将训练数据进行线性划分的分离超平面，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化求得感知机模型。2.感知机模型： ，sign为符号函数，w为权值或权向量，b为偏置。 其几何解释：对应一个越.....
分类：
其他好文 时间：
2015-04-29 23:04:34
阅读次数：
186
自己总结的机器学习基础算法，和相应的python代码实现，直接上传word和python代码
机器学习算法基础及Python实现
目录
一 机器学习概述...
4
1.1 统计学习...
4
1.2 监督学习...
4
1.3 模型评估与选择...
4
1.4 模型的泛化能力...
5
二 预测算法...
5
1 一元线性回归...
5
1.1 为什么...
分类：
其他好文 时间：
2015-04-25 22:47:56
阅读次数：
187
