标签：
本文介绍logistic回归，和改进算法随机logistic回归，及一个病马是否可以治愈的案例。例子中涉及了数据清洗工作，缺失值的处理。
一 引言
1 sigmoid函数，这个非线性函数十分重要，f(z) = 1 / (1 + e^(-z) ), 画图如下：
这个函数可以很好的把数轴上的值映射到0，1区间，所以很好的解决了分类问题。下面是代码：
def sigmoid(inX): return 1.0/(1+exp(-inX))
2 梯度上升法是我们常用的最优化方法，公式
。就是说沿这梯度方向迭代，alpha是步长，控制收敛速度；delta是对各个变量的偏微分；
def gradAscent(dataMatIn, classLabels): dataMatrix = mat(dataMatIn) #convert to NumPy matrix labelMat = mat(classLabels).transpose() #convert to NumPy matrix m,n = shape(dataMatrix) alpha = 0.001 maxCycles = 500 weights = ones((n,1)) for k in range(maxCycles): #heavy on matrix operations h = sigmoid(dataMatrix*weights) #matrix mult error = (labelMat - h) #vector subtraction weights = weights + alpha * dataMatrix.transpose()* error #matrix mult return weights
所有的数据集迭代500次，步长是0.001，目的是确认参数weights，weights会在500次左右收敛，误差较小。
二 逻辑回归算法
思路：根据梯度上升发，求出了最优化的参数weights，带入logistics分类器，y = (-weights[0]-weights[1]*x)/weights[2]，预测测试样本即可；
inX*weights大于0.5，则分类到1，否则分类到0；主意,inX和weights都是向量；
def classifyVector(inX, weights): prob = sigmoid(sum(inX*weights)) if prob > 0.5: return 1.0 else: return 0.0
下面python代码主要利用了matplotlib这个包，模仿matlab画出了图；
def plotBestFit(weights): import matplotlib.pyplot as plt dataMat,labelMat=loadDataSet() dataArr = array(dataMat) n = shape(dataArr)[0] xcord1 = []; ycord1 = [] xcord2 = []; ycord2 = [] for i in range(n): if int(labelMat[i])== 1: xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2]) else: xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2]) fig = plt.figure() ax = fig.add_subplot(111) ax.scatter(xcord1, ycord1, s=30, c=‘red‘, marker=‘s‘) ax.scatter(xcord2, ycord2, s=30, c=‘green‘) x = arange(-3.0, 3.0, 0.1) y = (-weights[0]-weights[1]*x)/weights[2] ax.plot(x, y) plt.xlabel(‘X1‘); plt.ylabel(‘X2‘); plt.show()
效果还不错，只有两个实例分错了；
三 logistics改进：随机梯度上升
改进算法1：
上面的logistics缺陷：每次迭代都要遍历所有的数据集样本，这样迭代500次1000000个样本的数据集，压力很大；
提出增量的方法，每遍历一个样本就修改一次weighs；
def stocGradAscent0(dataMatrix, classLabels): m,n = shape(dataMatrix) alpha = 0.01 weights = ones(n) #initialize to all ones for i in range(m): h = sigmoid(sum(dataMatrix[i]*weights)) error = classLabels[i] - h weights = weights + alpha * error * dataMatrix[i] return weights
可以看出效果不如非增量的，这是可以接受的，因为增量的只遍历了一遍所有样本，时间上快了很多。
改进算法2：
上面的改进算法1，虽然在迭代15000次后三个参数均趋于收敛，但很明显x1 x2参数存在波动(原因是有些样本点不能正确分类，数据集也不是全线性不可分的所以误差很大)，为了避免这种波动，提出了改进算法2；
改进点：
1迭代150次改进的增量算法1，这样还是比迭代200次全集时间要约简不少，并且准确率不低；
2步长alpha不是固定的，这样可以开始收敛速度大，后来越来越准确的时候收敛速度慢点，后面加0.0001是防止alpha为0。步长为0原地不动迭代就没有意义；
3为了避免上图的波动情况，随机选取样本点训练，然后再原数据集中删除，避免重复使用；下图可以看出，选用随机点可以避免周期性波动，波动确实可以变小；
def stocGradAscent1(dataMatrix, classLabels, numIter=150): m,n = shape(dataMatrix) weights = ones(n) #initialize to all ones for j in range(numIter): dataIndex = range(m) for i in range(m): alpha = 4/(1.0+j+i)+0.0001 #apha decreases with iteration, does not randIndex = int(random.uniform(0,len(dataIndex)))#go to 0 because of the constant h = sigmoid(sum(dataMatrix[randIndex]*weights)) error = classLabels[randIndex] - h weights = weights + alpha * error * dataMatrix[randIndex] del(dataIndex[randIndex]) return weights
分类结果：
四 实例： 病马治愈问题
先说明下，数据清洗是必要的工作，确实值是我们经常需要处理的；
缺失值的解决方案：
1使用特征的均值；
2使用-1等特殊值填充；
3删除有缺失值的样本；不推荐，有的数据的获得是不可恢复的
4使用相似样本的值来填充；
5使用其它算法计算确实值，比如kmeans等；
若样本的类属性缺失，监督学习中一般采用直接删除的方法；
主函数是multiTest()，原理和上面一样，整体过程如下：
训练分类器，获得线性分类器的参数weighs；
对测试样本应用分类器，classifyVector方法返回0或1；
统计错误率；
def classifyVector(inX, weights): prob = sigmoid(sum(inX*weights)) if prob > 0.5: return 1.0 else: return 0.0 def colicTest(): frTrain = open(‘horseColicTraining.txt‘); frTest = open(‘horseColicTest.txt‘) trainingSet = []; trainingLabels = [] for line in frTrain.readlines(): currLine = line.strip().split(‘\t‘) lineArr =[] for i in range(21): lineArr.append(float(currLine[i])) trainingSet.append(lineArr) trainingLabels.append(float(currLine[21])) trainWeights = stocGradAscent1(array(trainingSet), trainingLabels, 1000) errorCount = 0; numTestVec = 0.0 for line in frTest.readlines(): numTestVec += 1.0 currLine = line.strip().split(‘\t‘) lineArr =[] for i in range(21): lineArr.append(float(currLine[i])) if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]): errorCount += 1 errorRate = (float(errorCount)/numTestVec) print "the error rate of this test is: %f" % errorRate return errorRate def multiTest(): numTests = 10; errorSum=0.0 for k in range(numTests): errorSum += colicTest() print "after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests))
五 总结
1 logistic分类器只适用于数值属性，不能处理非数值型数据集；
2 logistic分类器的目的是寻找一个非线性函数sigmoid的最佳拟合参数；求解过程用到了最优化方法梯度上升法；
标签：
原文地址：http://www.cnblogs.com/rongyux/p/5616954.html
