logistic回归一般用于二分类问题，比如判断一封邮件是否为垃圾邮件，判断照片中的人是男是女，预测一场比赛输还是赢......当然也可以用于多分类问题，比如k类别，就进行k次logistic回归。logistic回归算法之所以称作“logistic”，是因为它运用了logistic函数，即sigmoid函数。
logistic回归算法一般用于二分类问题（当然也可以多类别，后面会讲）。
logistic回归的算法思想：
重点在于怎么根据训练数据求得最佳拟合参数Θ？这可以用最优化算法来求解，比如常用的梯度上升...
分类：
编程语言 时间：
2014-12-10 14:18:25
阅读次数：
502
1：简单概念描写叙述如果如今有一些数据点，我们用一条直线对这些点进行拟合(改线称为最佳拟合直线)，这个拟合过程就称为回归。训练分类器就是为了寻找最佳拟合參数，使用的是最优化算法。基于sigmoid函数分类：logistic回归想要的函数可以接受全部的输入然后预測出类别。这个函数就是sigmoid函数...
分类：
其他好文 时间：
2014-11-02 16:28:04
阅读次数：
263
最速下降法采用负梯度方向进行一维搜索，总体上看搜索速度应该是比较快，但是当迭代进行到靠近精确最优点时，会出现锯齿形搜索路径，这样就会大大降低搜索效率，所以通常在搜索前期采用最速下降法，当接近精确最优解时，改用牛顿法等其他在最优解附近搜索效率更高的方法。但是牛顿法也有缺点：一方面需要计算Hesse矩阵...
分类：
其他好文 时间：
2014-10-09 15:03:43
阅读次数：
181
在Lecture4中有3部分内容： Newton’s method 牛顿方法 Exceponential Family 指数分布族 Generalized Linear Models 广义线性模型（GLMS） 牛顿法上一篇随便中已经讲过了，是平行于梯度下降算法的另一种最优化算法。 然后，视频中证明了...
分类：
其他好文 时间：
2014-09-11 18:59:42
阅读次数：
278
1：简单概念描述
假设现在有一些数据点，我们用一条直线对这些点进行拟合(改线称为最佳拟合直线)，这个拟合过程就称为回归。训练分类器就是为了寻找最佳拟合参数，使用的是最优化算法。
基于sigmoid函数分类：logistic回归想要的函数能够接受所有的输入然后预测出类别。这个函数就是sigmoid函数，它也像一个阶跃函数。其公式如下：
其中： z = w0x0+w1x1+….+wnxn,w...
分类：
其他好文 时间：
2014-08-10 13:04:00
阅读次数：
308
算法复杂度用来表示在解决某个问题时，算法的性能表现。
复杂度上限，就是某个具体的已经实现的算法能够保证在一定时间内解决问题
复杂度下限，就是通过数学方法证明，所有的算法都必须花费一定的时间才能解决问题
最优化算法，就是可能达到的最小复杂度的算法，通常介于复杂度上限和下限之间
比如排序问题中：
计算模型为决策树
使用比较次数作为开销...
分类：
其他好文 时间：
2014-06-08 18:20:02
阅读次数：
190
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数学公式的理解和详细推导。...
分类：
其他好文 时间：
2014-05-22 22:45:41
阅读次数：
369
