机器学习实战第8章预测数值型数据：回归

from numpy import mat,linalg,corrcoef,shape,eye,exp,zeros
import matplotlib.pyplot as plt
import numpy as np

def loadDataSet(fileName):
    numFeat = len(open(fileName).readline().split(‘\t‘)) - 1
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        curLine = line.strip().split(‘\t‘)
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat, labelMat


"""
    函数说明：线性回归
    ParameterS:
        xArr - x数据集
        yArr - y数据集
    Returns：
        ws  - 回归系数
"""
def standRegres(xArr, yArr):
    xMat = mat(xArr); yMat = mat(yArr).T
    xTx = xMat.T*xMat
    # linalg.det()计算行列式，若为0，则不可逆
    if linalg.det(xTx) == 0.0:
        print("This matrix is singular, cannot do inverse")
        return
    #回归系数ws = (X^TX)^-1X^Ty
    ws = xTx.I * (xMat.T * yMat)
    return ws


def plotStandRegres(xMat, yMat, ws):
    fig = plt.figure()
    ax = fig.add_subplot(111)
    xCopy = xMat.copy()
    yHat = xCopy * ws
    # flatten()函数Return a copy of the array collapsed into one dimension.
    # .A将矩阵转化为数组
    ax.scatter(xMat[:, 1].flatten().A[0], yMat.T[:, 0].flatten().A[0])
    ax.plot(xCopy[:, 1], yHat,‘r‘)
    plt.show()


"""
    函数说明：局部加权线性回归
    Parameters:
        testPoint - 测试点，xArr -  x数据集，yArr - y数据集，
        k   - 高斯核的参数，自定义，控制衰减速度
    Returns：
        测试点y值
"""
def lwlr(testPoint, xArr, yArr, k=1.0):
    xMat = mat(xArr)    # m * n
    yMat = mat(yArr).T  # m * 1
    m = shape(xMat)[0]
    weights = mat(eye(m))   #生成对角矩阵，对角线上元素全为1，其他为0
    for j in range(m):
        diffMat = testPoint - xMat[j,:]
        weights[j,j] = exp(diffMat * diffMat.T / (-2.0*k**2))   #权重随着距离的增加，以指数级衰减
    xTx = xMat.T * (weights * xMat)
    if linalg.det(xTx) == 0.0:
        print("This matrix is singular, cannot do inverse")
        return
    ws = xTx.I * (xMat.T * (weights * yMat))
    return testPoint * ws


"""
    函数说明：局部加权线性回归测试函数
    Parameters:
        testPoint - 测试x数据集，xArr -  x数据集，yArr - y数据集，
        k - 高斯核的参数，自定义，控制衰减速度
    Returns：
        yHat - 预测y数据集 
"""
def lwlrTest(testArr, xArr, yArr, k=1.0):
    m = shape(testArr)[0]
    yHat = zeros(m)
    for i in range(m):
        yHat[i] = lwlr(testArr[i], xArr, yArr, k)
    return yHat


def plotLwlr(xMat, yMat):
    plt.rcParams[‘font.sans-serif‘] = [‘SimHei‘]
    plt.rcParams[‘axes.unicode_minus‘] = False
    strInd = xMat[:,1].argsort(0)   #对x进行排序，并返回排序下标
    xSort = xMat[strInd][:,0,:]
    yHat1 = lwlrTest(xArr, xArr, yArr, 1.0)
    yHat2 = lwlrTest(xArr, xArr, yArr, 0.01)
    yHat3 = lwlrTest(xArr, xArr, yArr, 0.003)
    fig, axs = plt.subplots(nrows=3, ncols=1, sharex=False, sharey=False, figsize=(10, 8))
    axs[0].plot(xSort[:, 1], yHat1[strInd], c=‘red‘)
    axs[1].plot(xSort[:, 1], yHat2[strInd], c=‘red‘)
    axs[2].plot(xSort[:, 1], yHat3[strInd], c=‘red‘)
    axs[0].scatter(xMat[:, 1].flatten().A[0], yMat.T[:, 0].flatten().A[0])
    axs[1].scatter(xMat[:, 1].flatten().A[0], yMat.T[:, 0].flatten().A[0])
    axs[2].scatter(xMat[:, 1].flatten().A[0], yMat.T[:, 0].flatten().A[0])
    #设置标题，x轴y轴label
    axs0_title_text = axs[0].set_title(u‘局部加权回归曲线,k=1.0‘)
    axs1_title_text = axs[1].set_title(u‘局部加权回归曲线,k=0.01‘)
    axs2_title_text = axs[2].set_title(u‘局部加权回归曲线,k=0.003‘)
    plt.setp(axs0_title_text, size=8, weight=‘bold‘, color=‘red‘)
    plt.setp(axs1_title_text, size=8, weight=‘bold‘, color=‘red‘)
    plt.setp(axs2_title_text, size=8, weight=‘bold‘, color=‘red‘)
    plt.xlabel(‘X‘)
    plt.ylabel(‘Y‘)
    plt.show()


if __name__ == ‘__main__‘:
    xArr, yArr = loadDataSet(‘ex0.txt‘)
    ws = standRegres(xArr, yArr)
    xMat = mat(xArr)
    yMat = mat(yArr)
    yHat = xMat * ws  # 预测y值
    plotStandRegres(xMat, yMat, ws)
    #计算相关系数
    print(corrcoef(yHat.T, yMat))
    plotLwlr(xMat, yMat)