关于Andrew Ng的machine learning课程中，有一章专门讲解逻辑回归（Logistic回归），具体课程笔记见另一篇文章。下面，对Logistic回归做一个简单的小结：给定一个待分类样本x，利用Logistic回归模型判断该输入样本的类别，需要做的就是如下两步：① 计算逻辑回归假设函...
分类：
其他好文 时间：
2015-08-29 13:55:10
阅读次数：
299
这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题。
一、Logistic回归
先说下logistic回归，它是根据现有数据对分类边界建立回归公式，以此进行分类。其计算代价不高，易于实现与理解，但是容易欠拟合、分类精度不太高；
logistic回归可以看成是一种概率估计，使用的的是sigmioid函数，...
分类：
编程语言 时间：
2015-08-26 12:04:29
阅读次数：
286
上节我们探讨了关于拉格朗日乘子和KKT条件，这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。一个简单的二分类问题如下图：
我们希望找到一个决策面使得两类分开，这个决策面一般表示就是WTX+b=0W^TX+b=0,现在的问题是找到对应的W和b使得分割最好，知道logistic分类 机器学习之logistic回归与分类的可能知道，这里的问题和那里的一样，也是找权值。在那里，我们是根据每...
分类：
其他好文 时间：
2015-08-17 19:32:59
阅读次数：
315
在前两节曾经介绍过logistic回归与分类算法，并对线性与非线性数据集分别进行分类实验。Logistic采用的是一层向量权值求和的方式进行映射，所以本质上只能对线性分类问题效果较好（实验也可以看到），其模型如下所示（详细的介绍可看上两次博客：机器学习之logistic分类线性与非线性实验（续））：既然如此，我们可不可以在Y出来之前在多进行几次映射呢？答案是可以的，这就引出了多层网络，每层网络的输出...
分类：
编程语言 时间：
2015-08-10 18:13:13
阅读次数：
199
本节续上节机器学习之logistic回归与分类对logistic分类的线性与非线性进行实验。上节中的“种子”分类实例中，样本虽然有7维，但是很大很大程度上符合线性可分的，为了在说明上节中的那种logistic对于非线性不可分，进行如下的两组样本进行实验，一组线性，一组非线性，样本如下：
线性样本：
非线性样本：
为了防止完全可分，在1,2类样本的分界面上重叠一部分样本，也就是说这部分样本很...
分类：
其他好文 时间：
2015-08-09 12:44:36
阅读次数：
111
logistic回归与分类是一种简单的分类算法。在分类的过程中只需要找到一个划分不同类的权重向量即可，对新的数据只需要乘上这个向量并比较就可以得到分类。比如下图的二分类问题：
每个样本点可以看成包含两个特征（x1,x2）,现在需要把他们分开，如果这是训练集，他们本身属于哪一个类是已知的，比如说蓝色的属于0类，红色的属于1类，现在我们想通过这些数据建立一个分类标准可以将他们分开，这样再来了一个不...
分类：
其他好文 时间：
2015-08-08 18:24:00
阅读次数：
1365
《机器学习实战》第五章《Logistic回归》中讲到了梯度上升法，随机梯度上升法和改进的随机梯度上升法，下面把这几个算法思想总结一下。首先，梯度上升法比较简单，根据梯度上升的迭代公式计算出了回归系数。书中并没有采取最小二乘法之类的规则来作为迭代终止的条件，而是直接..
分类：
编程语言 时间：
2015-07-21 18:55:19
阅读次数：
241
一直听闻Logistic Regression逻辑回归的大名，比如吴军博士在《数学之美》中提到，Google是利用逻辑回归预测搜索广告的点击率。因为自己一直对个性化广告感兴趣，于是疯狂google过逻辑回归的资料，但没有一个网页资料能很好地讲清到底逻辑回归是什么。幸好，在CS229第三节课介绍了逻辑...
分类：
其他好文 时间：
2015-07-16 16:22:02
阅读次数：
268
原文：http://blog.csdn.net/dongtingzhizi/article/details/15962797Logistic回归总结作者：洞庭之子微博：洞庭之子-Bing（2013年11月）PDF下载地址：http://download.csdn.net/detail/lewsn20...
分类：
其他好文 时间：
2015-07-12 17:05:19
阅读次数：
141
