标签：

======================================================================
本系列博客主要参考 Scikit-Learn 官方网站上的每一个算法进行，并进行部分翻译，如有错误，请大家指正   

======================================================================

另外一篇基于《机器学习实战》的Logistic回归分析的博客请参考：点击阅读，其主要是采用Python代码实现回归模型

还有一篇是纯实战案例博客请参考 ，Logistic回归模型案例实战：《机器学习实战》Logistic回归算法（2）

目录：

1、概念

2、简单线性回归（Simple Liner Regession）

3、多元性回归（Mutiple Regession）

4、非线性回归（Logistic Regession）

一：概念            

1：集中趋势衡量

2：离散程度的衡量

3：回归中的相关度

4：R平方值

一个关于相关系数的BBS：http://bbs.pinggu.org/thread-3034786-1-1.html

5：皮尔逊相关系数和R平方值计算示例

[python] view plain copy

1. #coding:utf-8  
2. ‘‘‘‘‘ 
3. Created on 2015年11月8日 
4.  
5. @author: Administrator 
6. ‘‘‘  
7. import numpy as np  
8. import math  
9.   
10. #求解皮尔逊相关系数  
11. def computeCorrelation(X, Y):  
12.     xBar = np.mean(X)  
13.     yBar = np.mean(Y)  
14.     SSR = 0  
15.     varX = 0  
16.     varY = 0  
17.     for i in range(0, len(X)):  
18.         #对应分子部分  
19.         diffXXBar = X[i] - xBar  
20.         diffYYBar = Y[i] - yBar  
21.         SSR +=(diffXXBar * diffYYBar)  
22.         #对应分母求和部分  
23.         varX += diffXXBar**2  
24.         varY += diffYYBar**2  
25.     SST = math.sqrt(varX * varY)  
26.     return SSR/SST  
27.   
28. def polyfit(x, y, degree):  
29.     results = {}  
30.     #coeffs 为相关系数，x自变量，y因变量，degree为最高幂  
31.     coeffs = np.polyfit(x, y, degree)  
32.       
33.     #定义一个字典存放值，值为相关系数list  
34.     results[‘polynomial‘] = coeffs.tolist()  
35.       
36.     #p相当于直线方程  
37.     p = np.poly1d(coeffs)    
38.     yhat = p(x)  #传入x，计算预测值为yhat  
39.       
40.     ybar = np.sum(y)/len(y)  #计算均值      
41.     #对应公式  
42.     ssreg = np.sum((yhat - ybar) ** 2)  
43.     sstot = np.sum((y - ybar) ** 2)  
44.     results[‘determination‘] = ssreg / sstot  
45.   
46.     print" results :",results  
47.     return results  
48.   
49.   
50.   
51. testX = [1, 3, 8, 7, 9]  
52. testY = [10, 12, 24, 21, 34]  
53.   
54. #输出的是简单线性回归的皮尔逊相关度和R平方值  
55. print "r : ",computeCorrelation(testX, testY)  
56. print "r^2 : ",str(computeCorrelation(testX, testY)**2)  
57.   
58. #  
59. print polyfit(testX, testY, 1)["determination"]  

结果显示为：

二：简单线性回归

1：回归与分类的区别

2：简单线性回归介绍

                       

       简单线性回归方程：模型转变为即为回归方程（类似于一条直线，参数为斜率和y轴的交点）

                       

3：简单线性回归示例

[python] view plain copy

1. <span style="font-family:Microsoft YaHei;"><span style="font-size:18px;">#coding:utf8  
2. ‘‘‘‘‘ 
3. Created on 2016年4月24日 
4.  
5. @author: Gamer Think 
6. ‘‘‘  
7. #Simple Regession  
8. import numpy as np  
9.   
10. #周广告播放数量  
11. x = [1,3,2,1,3]  
12. #周汽车销售数据  
13. y = [14,24,18,17,27]  
14.   
15. #使用最小二乘法  
16. def fitSLR(x,y):  
17.     n = len(x)  
18.     denominator  = 0  
19.     numerator = 0  
20.     for i in range(0,n):  
21.         numerator += (x[i]-np.mean(x)* (y[i]-np.mean(y)) )  
22.         denominator += (x[i]-np.mean(x))**2  
23.       
24.     print "denominator:",denominator  
25.     print "numerator:",numerator  
26.       
27.     b1 = numerator/float(denominator)  
28. #     b0 = np.mean(y)/float(np.mean(x))   
29.     b0 = np.mean(y)-b1*np.mean(x)  
30.       
31.     return b0,b1  
32.   
33. def predict(b0,b1,x):  
34.     return b0+b1*x  
35.   
36. b0,b1 = fitSLR(x,y)  
37.   
38. x_test = 6  
39. print "y_test：",predict(b0,b1,x_test)</span></span>  

三：多元性回归

                                                               

[python] view plain copy

1. <span style="font-family:Microsoft YaHei;"><span style="font-size:18px;">#coding:utf-8  
2. ‘‘‘‘‘ 
3. Created on 2016年4月24日 
4.  
5. @author: Gamer Think 
6. ‘‘‘  
7. from sklearn import linear_model  
8. import numpy as np  
9. from numpy import genfromtxt #可以将非array格式的list转化为array  
10.   
11. datapath = "data.csv"  
12. deliverData = genfromtxt(datapath,delimiter=",") #将csv文件转化为numpy.array格式  
13.   
14. print "data:",deliverData  
15.   
16. X= deliverData[:,:-1]  
17. Y = deliverData[:,-1]  
18. print "X:",X  
19. print "Y:",Y  
20.   
21. regr = linear_model.LinearRegression()  
22. regr.fit(X,Y)  
23.   
24. print "coefficients:",regr.coef_        #与X结合的值  
25. print "intercept:",regr.intercept_         #类似于截距  
26.   
27. x_pre = [102,6]  
28. y_pre = regr.predict(x_pre)  
29. print "Y-Predict:",y_pre  
30. </span></span>  

              

             

[python] view plain copy

1. <span style="font-family:Microsoft YaHei;"><span style="font-family:Microsoft YaHei;font-size:18px;">#coding:utf-8  
2. ‘‘‘‘‘ 
3. Created on 2016年4月24日 
4.  
5. @author: Gamer Think 
6. ‘‘‘  
7. from numpy import genfromtxt  
8. import numpy as np  
9. from sklearn import datasets, linear_model  
10.   
11. dataPath = "dataDumpy.csv"  
12. deleveryData = genfromtxt(dataPath, delimiter=‘,‘)  
13.   
14. print "data:\n",deleveryData  
15.   
16. X = deleveryData[:, :-1]  
17. Y = deleveryData[:, -1]  
18. print "X: ",X  
19. print "Y: ",Y  
20.    
21. regr = linear_model.LinearRegression()  
22. regr.fit(X, Y)  
23.    
24. print "Coefficients:",regr.coef_  #与X结合的值  
25. print "Intercept:",regr.intercept_ #类似于截距  
26. #   
27. xPred = [102,6,0,0,1]  
28. yPred = regr.predict(xPred)  
29. print "predict y : ",yPred</span></span>  

 4：关于误差

四：非线性回归

    非线性回归又称为逻辑回归

1：概率

   

非线性回归实例：

[python] view plain copy

1. <span style="font-family:Microsoft YaHei;"><span style="font-size:18px;">#coding:utf-8  
2. ‘‘‘‘‘ 
3. Created on 2016年4月24日 
4.  
5. @author: Gamer Think 
6. ‘‘‘  
7. import numpy as np  
8. import random  
9.   
10. ‘‘‘‘‘ 
11. 梯度下降算法 
12. 参数说明：X，Y 
13. theta:一组向量和x相乘的一组值 
14. alpha:梯度下降时的参数，即每一步下降多少 
15. m:实例的个数 
16. numIteration：迭代计算的次数，可以理解为梯度下降多少步 
17. ‘‘‘  
18. def gradientDescent(X,Y,theta,alpha,m,numIteration):  
19.     x_trains = X.transpose()  #X的转置矩阵  
20.     for i in range(0,numIteration):      
21.         hypothesis = np.dot(X,theta)      #内积形式，X与theta的乘积  ，求出y的估计值  
22.         loss = hypothesis - Y             #估计值与真实值之间的差  
23.           
24.         #通用的梯度下降算法，和logistic Regession中所描述的cost函数不一致  
25.         cos = np.sum(loss**2)/(2*m)  
26.         print "Iteration %d | Cost:%f" % (i,cos)  
27.           
28.         gradient = np.dot(x_trains,loss)/m  
29.         theta = theta - alpha*gradient  
30.           
31.     return theta  
32.   
33.   
34. ‘‘‘‘‘ 
35. numPoints : 点的个数 
36. bias :偏好? 
37. variance : 统计学概念， 偏差和 
38. 产生样本点和对应的标签  
39. ‘‘‘  
40. def genData(numPoints,bias,variance):  
41.     X = np.zeros(shape=(numPoints,2))     #归类的数据  
42.     Y = np.zeros(shape=numPoints)         #归类的标签  
43.       
44.     for i in range(0,numPoints):   #从0~len(numPoints)-1执行如下  
45.         X[i][0] = 1  
46.         X[i][1] = i  
47.         #制造target数据  
48.         Y[i] = (i+bias) + random.uniform(0,1)*variance  
49.           
50.     return X,Y  
51.   
52. X,Y = genData(100, 25, 10)  
53. # print  "X:",X  
54. # print  "Y:",Y  
55.   
56. m, n = np.shape(X)  
57. n_y = np.shape(Y)  
58.   
59. # print "x shape :", m, "  ", n  
60. # print "y length :",n_y  
61.   
62. numIterations =100000  
63. alpha = 0.0005  
64. theta = np.ones(n)  
65. theta = gradientDescent(X, Y, theta, alpha, m, numIterations)  
66.   
67. print "theta: " ,theta  
68.   
69. </span></span>  

转载： scikit-learn学习之回归分析

标签：

原文地址：http://www.cnblogs.com/harvey888/p/5852757.html