一、要理解GBDT当然要从GB(Gradient Boosting)和DT(Decision Tree)两个角度来理解了；
二、GB其实是一种理念，他并不是这一个具体的算法，意思是说沿着梯度方向，构造一系列的弱分类器函数，并以一定权重组合起来，形成最终决策的强分类器；注意，这里的梯度下降法是在函数空间中通过梯度下降法寻找使得LOSS最小的一个函数，区别于传统的梯度下降法选择一个方向；那么问题就来...
分类：
其他好文 时间：
2015-02-10 18:48:53
阅读次数：
410
朴素贝叶斯分类器是用来做分类的一个简便方法。在贝叶斯公式的基础上，引人条件独立的假设，使得贝叶斯分类器具有简单易行的优点和假设时常与实际不符的缺点。下面简单介绍一下朴素贝叶斯分类器。 首先规定一下数据格式：输入的每一个样本为${{x}^{i}},{{c}^{i}}$，其中：$i$为样本编号，$...
分类：
其他好文 时间：
2015-02-06 21:40:19
阅读次数：
147
cvCreateCARTClassifier函数在haartraining程序中用于创建CART树状弱分类器，但一般只采用桩分类器，因为其训练过程实在是太慢了。之前自己调试过代码，要等差不多10分钟（2000正样本、2000负样本）才能训练完一个3节点的弱分类器，当然，总体的树状弱分类器的数目可能也会减少2/3，这个还没有仔细训练过。之所以将此函数拿出来说说，主要是因为之前在网上找不到专门针对这个函数的说明，同时，基于CART树的弱分类器，也具有一定的借鉴意义。...
分类：
其他好文 时间：
2015-02-02 23:21:45
阅读次数：
348
近段时间在搞opencv的视频人脸识别，无奈自带的分类器的准确度，实在是不怎么样，但又能怎样呢？自己又研究不清楚各大类检测算法。 正所谓，功能是由函数完成的，于是自己便看cvHaarDetectObjects 这个识别主函数的源代码，尝试了解并进行改造它，以提高精确度。 可惜实力有限啊，里面...
分类：
其他好文 时间：
2015-02-02 12:24:29
阅读次数：
190
请看注释。这个函数，是人脸识别主函数，里面出现过的函数之一，作用是初始化分类器的数据，就是一个xml文件的数据初始化。 1 static CvHidHaarClassifierCascade* icvCreateHidHaarClassifierCascade( CvHaarClassifierC....
分类：
其他好文 时间：
2015-02-02 12:14:45
阅读次数：
404
感觉是个很长的坑，大概会写很久吧。内容随机，捡遇到的拦路虎写一写。第二章主要讲贝叶斯公式和基于贝叶斯公式的分类器。先简单说一下mvnrnd函数的使用方法矩阵m由t个l(l=2)维列向量构成，l维表示特征向量的维数为l，每个类有l个特征值。t(t=3)个列向量表示群体可依据特征向量分为t类。1 m1 ...
分类：
其他好文 时间：
2015-02-02 07:08:30
阅读次数：
189
最大间隔分类器假设我们仍然使用线性模型来建模:$y(\mathbf{x})=\mathbf{w}^T\phi(\mathbf{x})+b$假设数据的标签为$\{-1, +1\}$, 我们根据分类器的输出$y(\mathbf{x})$的符号进行分类. 假设数据是线性可分的, 那么对于标签为1的样本, ...
分类：
其他好文 时间：
2015-02-01 00:28:53
阅读次数：
153
做为一种监督学习模型，支持向量机(Supprot Vector Machine)在机器学习领域内很重要。首先，SVM用来干什么？一句话将，就是分类(Classification)。比较简单的分类，比如线性分类、Logistic 回归等等，得到的分类结果未必是最优的。而SVM则旨在找到一个最优的分类器。从这个目的出发，SVM提出了Soft Margin，Support Vector等等看似很直观的概...
分类：
其他好文 时间：
2015-01-30 16:12:41
阅读次数：
160
Infer.NET是一个概率图模型中(graphical models)用于运行贝叶斯推理机(Bayesian inference)的框架,本文将介绍一个基于Infer.NET构建贝叶斯机器分类器的例子，并用于根据身高体重预测性别的例子中。
分类：
Web程序 时间：
2015-01-29 09:15:44
阅读次数：
215
感知机(Perceptron)的模型非常简单，就是学习如下一个线性分类器\begin{align*} f(\boldsymbol{x}) = sign(\boldsymbol{w}^\top \boldsymbol{x})\end{align*}为了表述方便，这里省略了截距$b$。 若某个样本...
分类：
其他好文 时间：
2015-01-28 06:12:55
阅读次数：
114
