Logistic Regression 罗杰斯特回归（最常见到的翻译：Logistic回归）。
分类：
其他好文 时间：
2015-03-11 19:11:21
阅读次数：
288
起源：线性神经网络与单层感知器古老的线性神经网络，使用的是单层Rosenblatt感知器。该感知器模型已经不再使用，但是你可以看到它的改良版：Logistic回归。可以看到这个网络，输入->加权->映射->计算分类误差->迭代修改W、b，其实和数学上的回归拟合别无二致。其中迭代修改参数，使目标函数收...
分类：
其他好文 时间：
2015-03-08 17:05:16
阅读次数：
153
Reference：http://ufldl.stanford.edu/wiki/index.php/Softmax_regression起源：Logistic的二类分类 Softmax回归是Logistic回归的泛化版本，用于解决线性多类（K类）的分类问题。Logistic回归可以看作是Softm...
分类：
其他好文 时间：
2015-03-05 20:58:17
阅读次数：
151
区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
Logistic回归用来分类，线性回归用来回归。
线性回归是把让样本的属性前面加系数，相加。代价函数是误差平方和形式。所以，在最小化代价函数的时候，可以直接求导，令导数等于0，如下：
也可以使用梯度下降法，学习的梯度和Logistic回归形式一样。
线性回归的优点：计算简单。
缺点：不好处理非线性数据。...
分类：
编程语言 时间：
2015-03-05 10:48:54
阅读次数：
154
PartI起源：线性回归线性回归很常见，给你一堆点，作出一条直线，尽可能去拟合这些点。对于多维的数据，设特征为xi，设函数h（θ)=θ+θ1x1+θ2x2+.....为拟合的线性函数，其实就是内积，实际上就是y=Wx+b。那么如何确定这些θ参数（parament）才能保证拟合比较好呢？①确定目标函数...
分类：
其他好文 时间：
2015-02-17 23:34:21
阅读次数：
179
本章节主要讲解Logistic回归的原理及其数学推导，Logistic有3种不同的表达形式，现在我就一一展开这几种不同的形式，以及它在分类中的效果。并比较这三种形式。
下面分别写出这三种形式的损失函数：
下面分别写出这三种损失函数的梯度形式：
其中第一种形式和第三种形式是等价的,推导如下:
Steepest descent
前面章节已经讲过最速...
分类：
系统相关 时间：
2015-02-17 14:10:19
阅读次数：
344
最近学习在看《机器学习实战》一书，第二章的时候要用到Natplotlib画图，于是便开始安装Matplotlib。本文所用到的所有安装包都可以在文末的链接中找到。首先从Matplotlib官网提供的链接下载安装包http://matplotlib.org/downloads.html，选择适合自己p...
分类：
编程语言 时间：
2015-02-09 19:53:48
阅读次数：
143
关于分类算法我们之前也讨论过了KNN、决策树、naivebayes、SVM、ANN、logistic回归。关于这么多的分类算法，我们自然需要考虑谁的表现更加的优秀。 既然要对分类算法进行评价，那么我们自然得有评价依据。到目前为止，我们讨论分类的有效性都是基于分类成功率来说的，但是这个指标科学吗...
分类：
编程语言 时间：
2015-02-09 12:45:01
阅读次数：
288
1. logistic回归模型1.1 Logsitic分布设X是服从logistic分布的连续随即变量，则X的分布函数和密度函数如下： \( F(x)=P(x \le x)=\displaystyle\frac{1}{1+e^{-(x-\mu)/\gamma}} \) \( f(...
分类：
其他好文 时间：
2015-02-04 18:27:44
阅读次数：
158
