标签：逻辑回归分类器 logistic regression 牛顿拉斐森迭代法 极大似然函数
Logistic regression （逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性，也用来进行分类。
在分类的情形下，经过学习之后的LR分类器其实就是一组权值w0,w1,...,wm.
当输入测试样本集中的测试数据时，这一组权值按照与测试数据线性加和的方式，求出一个z值：
z = w0+w1*x1+w2*x2+...+wm*xm。 ① （其中x1,x2,...,xm是某样本数据的各个特征，维度为m）
之后按照sigmoid函数的形式求出：
σ(z) = 1 / (1+exp(z)) 。②
由于sigmoid函数的定义域是(-INF, +INF),而值域为(0, 1)。因此最基本的LR分类器适合于对两类目标进行分类。该sigmoid函数看成样本数据的概率密度函数，每一个样本点，都可以通过上述的公式①和②计算出其概率密度。
则LR分类器的关键问题就是求出这一组权值w0,w1,...,wm。这需要涉及到极大似然估计MLE和优化算法的概念。
何为回归：回归其实就是对已知公式的未知参数进行估计。比如已知公式是y = a*x + b，未知参数是a和b。我们现在有很多真实的(x,y)数据（训练样本），回归就是利用这些数据对a和b的取值去自动估计。
其实Logistic Regression 就是一个被logistic方程归一化后的线性回归，仅此而已。至于用logistic方程而不用其它，是因为这种归一化的方法往往比较合理，能够打压过大和过小的结果（往往是噪音），以保证主流的结果不至于被忽视。
版权声明：本文为博主原创文章，未经博主允许不得转载。
逻辑回归分类器(Logistic Regression Classifier)
标签：逻辑回归分类器 logistic regression 牛顿拉斐森迭代法 极大似然函数
原文地址：http://blog.csdn.net/qustqustjay/article/details/46874527
