标签：机器学习 logistic回归 python numpy
【机器学习算法实现】系列文章将记录个人阅读机器学习论文、书籍过程中所碰到的算法，每篇文章描述一个具体的算法、算法的编程实现、算法的具体应用实例。争取每个算法都用多种语言编程实现。所有代码共享至github：https://github.com/wepe/MachineLearning-Demo 欢迎交流指正！
本文的重点放在算法的工程实现上，关于算法的原理不具体展开，logistic回归算法很简单，可以看看Andrew Ng的视频：https://class.coursera.org/ml-007，也可以看看一些写得比较好的博文：洞庭之子的博文。下面我只列出一些个人认为重要的点。
回归的概念：假设有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程就称作回归。
logistic回归算法之所以称作“logistic”，是因为它运用了logistic函数，即sigmoid函数。
logistic回归算法一般用于二分类问题（当然也可以多类别，后面会讲）。
logistic回归的算法思想：
用上面的图来分析，每个O或X代表一个特征向量，这里是二维的，可以表示成向量形式x=(x1,x2)。用logistic回归进行分类的主要思想就是根据这些数据集（上面的点），对分类边界（上面的直线）建立回归公式，前面提到了，“回归”所做的其实就是拟合，所以logistic回归就是要找到最佳的拟合参数。
在上图的例子，拟合参数可以表示为向量形式 Θ=( Θ1, Θ2)，根据现有的数据集（即训练集）我们可以训练得出这个参数 Θ，之后每输入一个测试样本(x1,x2)，就计算Θ1*x1+Θ2*x2，将这个和作为sigmoid函数的输入，根据sigmoid函数的输出来预测该测试样本所属的类别。用公式表述：
以上就是logistic回归的思想，重点在于怎么根据训练数据求得最佳拟合参数Θ？这可以用最优化算法来求解，比如常用的梯度上升算法，关于梯度上升算法这里也不展开，同样可以参考上面推荐的博文。
所谓的梯度，就是函数变化最快的方向，我们一开始先将参数Θ设为全1，然后在算法迭代的每一步里计算梯度，沿着梯度的方向移动，以此来改变参数Θ，直到Θ的拟合效果达到要求值或者迭代步数达到设定值。Θ的更新公式：
alpha是步长，一系列推导后：
这个公式也是下面写代码所用到的。
后话：理解logistic回归之后可以发现，其实它的本质是线性回归，得到的过程跟线性回归是一样的，只不过后面又将
作为logistic函数的输入，然后再判断类别。
logistic回归一般用于二分类问题，比如判断一封邮件是否为垃圾邮件，判断照片中的人是男是女，预测一场比赛输还是赢......当然也可以用于多分类问题，比如k类别，就进行k次logistic回归。
我的前一篇文章：kNN算法__手写识别 讲到用kNN算法识别数字0～9，这是个十类别问题，如果要用logistic回归，得做10次logistic回归，第一次将0作为一个类别，1～9作为另外一个类别，这样就可以识别出0或非0。同样地可以将1作为一个类别，0、2～9作为一个类别，这样就可以识别出1或非1........
本文的实例同样是识别数字，但为了简化，我只选出0和1的样本，这是个二分类问题。下面开始介绍实现过程：
def loadData(direction):
trainfileList=listdir(direction)
m=len(trainfileList)
dataArray= zeros((m,1024))
labelArray= zeros((m,1))
for i in range(m):
returnArray=zeros((1,1024)) #每个txt文件形成的特征向量
filename=trainfileList[i]
fr=open('%s/%s' %(direction,filename))
for j in range(32):
lineStr=fr.readline()
for k in range(32):
returnArray[0,32*j+k]=int(lineStr[k])
dataArray[i,:]=returnArray #存储特征向量
filename0=filename.split('.')[0]
label=filename0.split('_')[0]
labelArray[i]=int(label) #存储类别
return dataArray,labelArray
<span style="font-size:18px;">def sigmoid(inX):
return 1.0/(1+exp(-inX))</span>用梯度下降法计算得到回归系数，alpha是步长，maxCycles是迭代步数。
<span style="font-size:18px;">def gradAscent(dataArray,labelArray,alpha,maxCycles):
dataMat=mat(dataArray) #size:m*n
labelMat=mat(labelArray) #size:m*1
m,n=shape(dataMat)
weigh=ones((n,1))
for i in range(maxCycles):
h=sigmoid(dataMat*weigh)
error=labelMat-h #size:m*1
weigh=weigh+alpha*dataMat.transpose()*error
return weigh</span>这个函数返回参数向量Θ，即权重weigh
def classfy(testdir,weigh):
dataArray,labelArray=loadData(testdir)
dataMat=mat(dataArray)
labelMat=mat(labelArray)
h=sigmoid(dataMat*weigh) #size:m*1
m=len(h)
error=0.0
for i in range(m):
if int(h[i])>0.5:
print int(labelMat[i]),'is classfied as: 1'
if int(labelMat[i])!=1:
error+=1
print 'error'
else:
print int(labelMat[i]),'is classfied as: 0'
if int(labelMat[i])!=0:
error+=1
print 'error'
print 'error rate is:','%.4f' %(error/m)
def digitRecognition(trainDir,testDir,alpha=0.07,maxCycles=10):
data,label=loadData(trainDir)
weigh=gradAscent(data,label,alpha,maxCycles)
classfy(testDir,weigh)
工程文件可以到这里下载：github地址
运行logistic regression.py，采用默认形参：alpha=0.07,maxCycles=10，看下效果，错误率0.0118
>>> digitRecognition('train','test')改变形参，alpah=0.01，maxCycles=50，看下效果，错误率0.0471
>>> digitRecognition('train','test',0.01,50)这两个参数可以根据实际情况调整
【机器学习算法实现】logistic回归__基于Python和Numpy函数库
标签：机器学习 logistic回归 python numpy
原文地址：http://blog.csdn.net/u012162613/article/details/41844495
