逻辑回归（Logistic Regression）是机器学习中十分常用的一种模型，属于广义线性模型。在互联网领域得到了广泛的应用，尤其是在广告系统中用来估计CTR。本文主要介绍逻辑回归的模型形式，求解策略和算法。接着介绍逻辑回归的最大似然估计，最后说明为什么逻辑回归要采用sigmoid函数做变换。模...
分类：
其他好文 时间：
2014-11-21 18:26:10
阅读次数：
360
官方Tutorial地址：http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/...
分类：
其他好文 时间：
2014-11-20 20:24:03
阅读次数：
289
1 Gradient Checking 说明前面我们已经实现了Linear Regression和Logistic Regression，关键在于代价函数Cost Function和其梯度Gradient的计算。在Gradient的计算中，我们一般采用推导出来的计算公式来进行计算。但是我们看到，推导出来的公式是复杂的，特别到后面的神经网络，更加复杂。这就产生了一个问题，我们如何判断我们编写的程序就...
分类：
其他好文 时间：
2014-11-20 13:46:16
阅读次数：
339
1 Logistic Regression 简述Linear...
分类：
其他好文 时间：
2014-11-19 22:20:55
阅读次数：
207
train_data是训练特征数据, train_label是分类标签。Predict_label是预测的标签。MatLab训练数据, 得到语义标签向量 Scores(概率输出)。1.逻辑回归(多项式MultiNomial logistic Regression)Factor = mnrfit(tr...
分类：
其他好文 时间：
2014-11-13 20:41:50
阅读次数：
211
大多数分类器都是01分类器，如logistic regression。当我们要将数据分为多类的时候，可以用一种叫one-vs-all的方法将01分类器用于多类分类（mult-class classification）原理很简单，训练与类数（k）相同个数的分类器，每个分类器只判断每个item是否属于某...
分类：
其他好文 时间：
2014-11-13 10:47:29
阅读次数：
193
一般的线性回归使用的cost function为:但由于logistic function：本身非凸函数（convex function）， 如果直接使用线性回归的cost function的话，很难到达全局最优解。相反，很容易陷入局部最优解然后就认为到达收敛条件了。因此，logistic regr...
分类：
其他好文 时间：
2014-11-13 08:16:45
阅读次数：
221
《PRML》中Logistic回归（逻辑回归，LR）的推导...
分类：
其他好文 时间：
2014-11-12 21:16:56
阅读次数：
280
Sigmoid function也叫Logistic function, 在logistic regression中扮演将回归估计值h(x)从[-inf, inf]映射到[0,1]的角色。公式为：g(z) = 1 / (1 + exp(-z))如图：其输出值大于0.5这认为待分类对象属于1，否则则属...
分类：
其他好文 时间：
2014-11-10 11:40:12
阅读次数：
199
