本章节主要讲解Logistic回归的原理及其数学推导，Logistic有3种不同的表达形式，现在我就一一展开这几种不同的形式，以及它在分类中的效果。并比较这三种形式。
下面分别写出这三种形式的损失函数：
下面分别写出这三种损失函数的梯度形式：
其中第一种形式和第三种形式是等价的,推导如下:
Steepest descent
前面章节已经讲过最速...
分类：
系统相关 时间：
2015-02-17 14:10:19
阅读次数：
344
关于分类算法我们之前也讨论过了KNN、决策树、naivebayes、SVM、ANN、logistic回归。关于这么多的分类算法，我们自然需要考虑谁的表现更加的优秀。 既然要对分类算法进行评价，那么我们自然得有评价依据。到目前为止，我们讨论分类的有效性都是基于分类成功率来说的，但是这个指标科学吗...
分类：
编程语言 时间：
2015-02-09 12:45:01
阅读次数：
288
1. logistic回归模型1.1 Logsitic分布设X是服从logistic分布的连续随即变量，则X的分布函数和密度函数如下： \( F(x)=P(x \le x)=\displaystyle\frac{1}{1+e^{-(x-\mu)/\gamma}} \) \( f(...
分类：
其他好文 时间：
2015-02-04 18:27:44
阅读次数：
158
做为一种监督学习模型，支持向量机(Supprot Vector Machine)在机器学习领域内很重要。首先，SVM用来干什么？一句话将，就是分类(Classification)。比较简单的分类，比如线性分类、Logistic 回归等等，得到的分类结果未必是最优的。而SVM则旨在找到一个最优的分类器。从这个目的出发，SVM提出了Soft Margin，Support Vector等等看似很直观的概...
分类：
其他好文 时间：
2015-01-30 16:12:41
阅读次数：
160
摘要：目前经典的统计学分析方法主要有回归分析，Logistic回归，决策树，支持向量机，聚类分析，关联分析，主成分分析，对应分析，因子分析等，那么对于这些经典的分析方法在R中的使用主要有那些程序包及函数呢？1、线性模型~回归分析：【包】：stats 【函数】：lm(formula, data, .....
分类：
其他好文 时间：
2015-01-23 14:41:06
阅读次数：
407
随机梯度上升法--一次仅用一个样本点来更新回归系数（因为可以在新样本到来时对分类器进行增量式更新，因而属于在线学习算法）梯度上升法在每次更新回归系统时都需要遍历整个数据集，该方法在处理100个左右的数据集时尚可，但如果有数十亿样本和成千上万的特征，那么该方法的计算复杂度太高了。随机梯度上升算法伪代码...
分类：
其他好文 时间：
2015-01-20 20:05:00
阅读次数：
265
【转载】对线性回归，logistic回归和一般回归的认识
分类：
其他好文 时间：
2015-01-16 12:31:24
阅读次数：
169
线性模型回顾
我们回顾一下之前的三种线性模型，它们的共同点是都要对输入的数据x做一个加权的分数s。
下图表示了这三种不同的线性模型的表示方式、误差函数和求解最小的Ein的方法。
这里可以看出，PLA算法这种线性分类模型，在求解Ein的时候是很困难的，相对而言，线性回归和logistic回归都有各自求解Ein的方法，那么我们能不能用这两种回归的计算方法来帮助...
分类：
其他好文 时间：
2015-01-13 21:34:53
阅读次数：
852
前面我们已经说了logistic回归，训练样本是，（且这里的是d维，下面模型公式的x是d+1维，其中多出来的一维是截距横为1，这里的y=±1也可以写成其他的值，这个无所谓不影响模型，只要是两类问题就可以），训练好这个模型中参数θ以后（或者是这个模型，这俩是一个模型），然后给入一个新的，我们就可以根据...
分类：
其他好文 时间：
2015-01-12 22:16:49
阅读次数：
302
soft binary classification
Logistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。
logistic regression的假设
我们在PLA和线性回归算法中都用数据的加权来计算一个分数...
分类：
其他好文 时间：
2015-01-11 17:50:58
阅读次数：
6277
