区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
Logistic回归用来分类，线性回归用来回归。
线性回归是把让样本的属性前面加系数，相加。代价函数是误差平方和形式。所以，在最小化代价函数的时候，可以直接求导，令导数等于0，如下：
也可以使用梯度下降法，学习的梯度和Logistic回归形式一样。
线性回归的优点：计算简单。
缺点：不好处理非线性数据。...
分类：
编程语言 时间：
2015-03-05 10:48:54
阅读次数：
154
Boosting的思想是集成学习，把许多个弱分类器结合起来，构成一个强分类器。
首先输入原始的训练样本，得到一个弱分类器，可以知道它的正确率和错误率。计算该弱分类器的权重，如下：
然后提高错误分类样本的权重，让后面的分类器focus它们，调整样本的权重：
如果原本分类正确：
如果样本分类错误：
把新的样本输入到后面学习，重复这个过程，得到许多个弱分类器，及其分类器...
分类：
编程语言 时间：
2015-03-05 10:48:44
阅读次数：
145
SVM的本质是寻找最大间隔的分割超平面。
SVM的假设也是在样本的每个属性前面乘以一个系数，代价函数是基于LR演化而来的。LR中是S型函数的假设，SVM中是分段函数cost的形式，再包括正则项，最后SVM的代价函数为：
当C一般要设置地很大,这样子的SVM才能够找到最大间隔的超平面，thetaT*x>=1或者thetaT*x
我们构建拉格朗日函数：
分别对...
分类：
编程语言 时间：
2015-03-05 10:47:48
阅读次数：
257
有了数据，剩下的就是流水线上的活：利用某种机器学习算法学习得到模型，在用模型进行预测，评价模型的性能。1 分割训练集和测试集Python的机器学习包sklearn非常强大，它不仅包含了不论监督学习、非监督学习的算法，同时包括了进行常用预处理和其他流程的函数。分割训练集和测试集的函数虽然很简单，但也包...
分类：
其他好文 时间：
2015-03-04 22:37:23
阅读次数：
837
决策树就是不断选择信息增益最大的属性，进行分类。
核心部分是使用信息增益判断属性的分类性能。信息增益计算如下：
信息熵：
允许有多个类别。
计算所有属性的信息增益，选择最大的作为决策树的根节点。然后，样本分枝，继续判断剩余的属性的信息增益。
信息增益有缺点：信息增益偏袒具有较多值的属性。分裂信息，用增益比率作为衡量标准，如下：
决策树...
分类：
编程语言 时间：
2015-03-02 13:12:55
阅读次数：
346
朴素贝叶斯算法是寻找一个极大后验假设（MAP），即候选假设的最大后验概率。
如下：
在朴素贝叶斯分类器中，假设样本特征之间是独立的，则有：
计算每个假设的后验概率，选出最大的概率，对应的类别就是样本的分类结果。
优缺点：
对小规模的数据表现很好，适合多分类任务，适合增量式训练。当时，需要样本的特征之间独立性较高，不能有太多的相关性。对输入数据的表达形式很敏...
分类：
编程语言 时间：
2015-03-02 11:19:44
阅读次数：
297
SAS graphical user interfaces help you build machine-learning models and implement an iterative machine learning process. You don't have to be an adva...
分类：
编程语言 时间：
2015-03-01 13:01:37
阅读次数：
292
CNN基础及环境搭建
Author：王帅；Mail：mippr11.ws@gmail.com
目前，深度学习在解决图像分类，语音识别等问题上获得了已知的最优结果，该系列算法越来越受到学术界和工业界的重视。何为深度学习？一个直观的解释是如果一个机器学习算法在建模的过程中使用了多层的自动特征表示，则该机器学习算法可以称之为深度学习算法，也就是该机器学习算法可以自动地计算特征的特征表示。而卷积神经网...
分类：
其他好文 时间：
2015-02-28 14:40:33
阅读次数：
473
# 读取多元统计分析数据到R
wine
# 绘制多元统计数据
# 矩阵散点图
# 一种常见的方法是使用散点图画出多元统计数据，展现出所有变量两两之间的散点图。
# 我们可以使用R中的“car”包里的“scatterplotMatrix()”函数来实现。
library(car)
scatterplotMatrix(wine[2:6])
# 组群标注数据点的散点图
plot(win...
分类：
编程语言 时间：
2015-02-27 18:25:36
阅读次数：
222
