第一眼看到逻辑回归（Logistic Regression）这个词时，脑海中没有任何概念，读了几页后，发现这非常类似于神经网络中单个神经元的分类方法。书中逻辑回归的思想是用一个超平面将数据集分为两部分，这两部分分别位于超平面的两边，且属于两个不同类别（和SVM的想法有些相似），如下图：因此，一般的逻...
分类：
其他好文 时间：
2015-01-05 21:47:02
阅读次数：
553
前言 本文将介绍机器学习分类算法中的Logistic回归分类算法并给出伪代码，Python代码实现。 (说明：从本文开始，将接触到最优化算法相关的学习。旨在将这些最优化的算法用于训练出一个非线性的函数，以用于分类。)算法原理 首先要提到的概念是回归。 对于回归这个概念，在以后的文章会有系...
分类：
编程语言 时间：
2014-12-30 13:29:14
阅读次数：
615
zaish上一节讲了线性回归中L2范数的应用，这里继续logistic回归L2范数的应用。 先说一下问题：有一堆二维数据点，这些点的标记有的是1，有的是0.我们的任务就是制作一个分界面区分出来这些点。如图（标记是1的样本用+表示，0的用红点表示）： 这其实是一个二分类问题，然后我们就想到了logis...
分类：
其他好文 时间：
2014-12-27 15:07:33
阅读次数：
293
在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与...
分类：
其他好文 时间：
2014-12-18 16:54:12
阅读次数：
290
第一节中说了，logistic 回归和线性回归的区别是：线性回归是根据样本X各个维度的Xi的线性叠加（线性叠加的权重系数wi就是模型的参数）来得到预测值的Y，然后最小化所有的样本预测值Y与真实值y'的误差来求得模型参数。我们看到这里的模型的值Y是样本X各个维度的Xi的线性叠加，是线性的。 Y=WX ...
分类：
其他好文 时间：
2014-12-17 18:11:42
阅读次数：
8732
logistic回归一般用于二分类问题，比如判断一封邮件是否为垃圾邮件，判断照片中的人是男是女，预测一场比赛输还是赢......当然也可以用于多分类问题，比如k类别，就进行k次logistic回归。logistic回归算法之所以称作“logistic”，是因为它运用了logistic函数，即sigmoid函数。
logistic回归算法一般用于二分类问题（当然也可以多类别，后面会讲）。
logistic回归的算法思想：
重点在于怎么根据训练数据求得最佳拟合参数Θ？这可以用最优化算法来求解，比如常用的梯度上升...
分类：
编程语言 时间：
2014-12-10 14:18:25
阅读次数：
502
Logistic回归可以也可以用于多分类的，但是二分类的更为常用也更容易解释。所以实际中最常用的就是二分类的Logistic回归。LR分类器适用数据类型：数值型和标称型数据。其优点是计算代价不高，易于理解和实现；其缺点是容易欠拟合，分类精度可能不高。本文描述LR分类器原理并通过Python实现了该算法。...
分类：
编程语言 时间：
2014-12-09 14:05:48
阅读次数：
399
Logistic回归的使用和缺失值的处理从疝气病预测病马的死亡率数据集：UCI上的数据，368个样本，28个特征测试方法：交叉测试实现细节：1.数据中因为存在缺失值所以要进行预处理，这点待会再单独谈2.数据中本来有三个标签，这里为了简单直接将未能存活和安乐死合并了3.代码中计算10次求均值缺失值的处...
分类：
其他好文 时间：
2014-11-25 01:39:42
阅读次数：
245
Logistic回归算法优缺点：1.计算代价不高，易于理解和实现2.容易欠拟合，分类精度可能不高3.适用数据类型：数值型和标称型算法思想：其实就我的理解来说，logistic回归实际上就是加了个sigmoid函数的线性回归，这个sigmoid函数的好处就在于，将结果归到了0到1这个区间里面了，并且s...
分类：
编程语言 时间：
2014-11-24 00:49:02
阅读次数：
575
今天来讨论多元函数求极值问题，在Logistic回归用牛顿迭代法求参数会提到这个，所以很有必要把它研究清楚。
回想一下，一元函数求极值问题中我们是怎样做的？比如对于凹函数，先求一阶导数，得到，
由于极值处导数一定为零，但是导数等于零的点不一定就有极值，比如。所以我们还需要进一步判断，对
函数继续求二阶导得到，现在因为在驻点处二阶导数成立，所以
在处取得极小值，二阶导数在这里的意义就是...
分类：
其他好文 时间：
2014-11-23 20:19:23
阅读次数：
279
