一、逻辑回归（LogisticRegression） Logistic regression （逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性。之前在经典之作《数学之美》中也看到了它用于广告预测，也就是根据某广告被用户点击的可能性，把最可能被用户点击的广告摆在用户能看到的地.....
分类：
其他好文 时间：
2014-08-18 23:28:23
阅读次数：
378
1：简单概念描述
假设现在有一些数据点，我们用一条直线对这些点进行拟合(改线称为最佳拟合直线)，这个拟合过程就称为回归。训练分类器就是为了寻找最佳拟合参数，使用的是最优化算法。
基于sigmoid函数分类：logistic回归想要的函数能够接受所有的输入然后预测出类别。这个函数就是sigmoid函数，它也像一个阶跃函数。其公式如下：
其中： z = w0x0+w1x1+….+wnxn,w...
分类：
其他好文 时间：
2014-08-10 13:04:00
阅读次数：
308
1. softmax回归模型 softmax回归模型是logistic回归模型在多分类问题上的扩展（logistic回归解决的是二分类问题）。 对于训练集，有。 对于给定的测试输入，我们相拥假设函数针对每一个类别j估算出概率值。也就是说，我们估计得每一种分类结果出现的概率。因此我们的假设函数将...
分类：
其他好文 时间：
2014-07-24 12:09:45
阅读次数：
335
接着上次的一篇文章：http://blog.csdn.net/acdreamers/article/details/27365941
在上次这篇文章中，对于Logistic回归问题，我们已经写出它的最大似然函数，现在来求最大似然估计。所以对似
然函数求偏导数，得到了个方程，即
由于我们只要根据这个方程解出所有的即可，但是这不是一件容易的事，还有Logis...
分类：
其他好文 时间：
2014-07-15 10:27:29
阅读次数：
1015
1、 logistic回归与一般线性回归模型的区别：（1） 线性回归的结果变量 与因变量或者反应变量与自变量之间的关系假设是线性的，而logistic回归中 两者之间的关系是非线性的；（2） 前提假设不同，在线性回归中，通常假设，对于自变量x的某个值，因变量Y的观测值服从正态分布，但在logisti...
分类：
其他好文 时间：
2014-07-06 20:27:06
阅读次数：
285
参考《机器学习实战》 利用Logistic回归进行分类的主要思想： 根据现有数据对分类边界线建立回归公式，以此进行分类。 分类借助的Sigmoid函数： Sigmoid函数图： Sigmoid函数的作用： 将所有特征都乘上一个回归系数，然后将所有结果值相加，将这个总和代入Sigmoid函数中，进而得...
分类：
其他好文 时间：
2014-07-02 17:30:24
阅读次数：
296
Logistic回归是一种非常高效的分类器。它不仅可以预测样本的类别，还可以计算出分类的概率信息。不妨设有$n$个训练样本$\{x_1, ..., x_n\}$，$x_i$是$d$维向量，其类别标签是$\{y_1, ..., y_n\}$。对于一个$c$类问题，$y_i \in \{1, 2, .....
分类：
其他好文 时间：
2014-06-21 16:04:13
阅读次数：
177
什么是回归？假设现在有些数据点，我用直线对这些点进行拟合（该线叫做最佳拟合直线），这个拟合的过程就叫做回归。Logistic回归？这里，Logistic回归进行分类的主要思想：根据现有数据对分类的边界线建立回归公式，以此边界线进行分类。这里的回归指的是最佳拟合，就是要找到边界线的回归公式的最佳拟合的...
分类：
其他好文 时间：
2014-06-17 12:52:30
阅读次数：
648
今天来讨论多元函数求极值问题，由于在Logistic回归用牛顿迭代法求参数提到这个，所以很有必要把它研究清楚。
回想一下，一元函数求极值问题中我们是怎样做的？比如对于凹函数，先求一阶导数，得到，由
于极值处导数一定为零，但是导数等于零的点不一定就有极值，比如。所以我们还需要进一步判断，对函数
继续求二阶导得到，现在因为在驻点处二阶导数成立，所以在处取得
极小值，二阶导数在这里的意义就...
分类：
其他好文 时间：
2014-06-10 06:36:52
阅读次数：
254
1.梯度上升优化1).
伪代码：所有回归系数初始化为1-------------------weights = ones((colNum,1))重复r次：
计算整个数据集的梯度gradient 使用alpha*gradient更新回归系数的向量 返回回归系数weights2). 迭代r次的代码...
分类：
其他好文 时间：
2014-06-02 18:11:41
阅读次数：
271
