提升树是以分类树或回归树为基本分类器的提升方法 提升树被认为是统计学习中性能最好的方法之一 提升方法实际采用加法模型（基函数的线性组合）与前向分步算法 以决策树为基函数的提升方法称为提升树 对分类问题决策树是二叉分类树 对回归问题决策树是二叉回归树 提升树模型可以表示为决策树的加法模型： T(x;Θ...
分类：
其他好文 时间：
2015-06-13 22:58:53
阅读次数：
159
提升方法的基本思路 在概率近似正确（probably approximately correct，PAC）学习的框架中， 一个概念（一个类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的； 一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机...
分类：
其他好文 时间：
2015-06-13 21:35:12
阅读次数：
1475
logistic distribution 设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数： 式中，μ为位置参数，γ>0为形状参数。 密度函数是脉冲函数 分布函数是一条Sigmoid曲线(sigmoid curve)即为阶跃函数 二项逻辑斯谛回归模型 二项逻辑斯谛回归模型是如...
分类：
其他好文 时间：
2015-06-12 20:39:16
阅读次数：
146
k近邻法（k-nearest neighbor，k-NN） 输入：实例的特征向量，对应于特征空间的点；输出：实例的类别，可以取多类。 分类时，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。 实例类别已定，不具有显式的学习过程。k近邻法实际上利用训练数据集对特征 向量空间进行划分，并作...
分类：
其他好文 时间：
2015-06-11 21:05:23
阅读次数：
227
损失函数和风险函数 损失函数（loss function），代价函数（cost function） 用来度量预测错误的程度。常用的如下： 0-1损失函数（0-1 loss function） 平方损失函数（quadratic loss function） 绝对损失函数（absolute loss f...
分类：
其他好文 时间：
2015-06-10 00:52:21
阅读次数：
162
感知机 假设：输入空间是 x?Rn 输出空间是 y＝{+1,-1} 由如下2.1函数进行分类称之为感知器 其中，w为权值向量，b为偏置 sign(.)是符号函数，记为如下所示： 感知机是一种线性分类模型，属于判别模型。 感知机模型的假设空间是定义在特征空间中的 所有线性分类模型（linear cla...
分类：
其他好文 时间：
2015-06-07 21:24:44
阅读次数：
120
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2015-06-06 06:48:06
阅读次数：
124
Naive Bayes是比较常用的分类器，因为思想比较简单。之所以说是naive，是因为他假设用于分类的特征在类确定的条件下是条件独立的，这个假设使得分类变得很简单，但会损失一定的精度。具体推导可以看《统计学习方法》经过推导我们可知y=argMaxP(Y=ck)*P(X=x|Y=ck)。那么我们需要...
分类：
其他好文 时间：
2015-06-05 10:02:59
阅读次数：
103
EM算法，之前上模式识别课上，推导过，在《统计学习方法》中没耐性的看过几次，个人感觉讲的过于理论，当时没怎么看懂，后来学lda，想要自己实现一下em算法，又忘记了，看来还是学的不够仔细，认识的不够深刻，现在做点笔记。本文是看了几篇blog和《统计学习方法》之后做的笔记，只是用来给自己做记录，很多.....
分类：
编程语言 时间：
2015-05-10 17:09:57
阅读次数：
357
统计学习统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习（statical machine learning）.统计学习的方法是基于数据构建统计模型从而对数据进行预测和分析。统计学习由监督学习、非监督学习、半监督学习和强化学习等组成。统...
分类：
其他好文 时间：
2015-05-10 00:49:46
阅读次数：
248
