标签：... pca 一维数组 turn 个数 orm 选择 sub span
PCA主成分分析算法，是一种线性降维，将高维坐标系映射到低维坐标系中。
如何选择低维坐标系呢？
通过协方差矩阵的特征值和特征向量，特征向量代表坐标系，特征值代表映射到新坐标的长度。
输入：样本集D={x1,x2,...,xm}；
低维空间维数k
第一步：将样本集中心化。每一列的特征值减去当前列的均值
第二步：求协方差矩阵的特征值和特征向量
协方差矩阵：矩阵×矩阵的转置；
方法：np.dot(x, np.transpot(x))
特征值和特征向量：协方差矩阵特征分解。
方法一：np.linalg.eig()，返回：特征值，一维数组，没有排序；特征向量，二维数组，列表示特征向量
方法二：np.linalg.svd()，返回：酉矩阵；奇异值，从大到小排序；酉矩阵
第三步：选取前k个特征值，对应的特征向量
新样本集：对应的特征向量×中心化数据
输出：降维后样本集。
方差贡献率：特征值与所有特征值总和的比值
累计贡献率：前k个特征值和与所有特征值总和的比值
一般根据累计贡献率选取k值。
代码如下：
1 import numpy as np 2 3 4 def feature_Normalize(x): 5 """ 6 归一化数据 7 (每个数据-当前列的均值)/当前列的标准差 8 :param x: 样本集 9 :return: 归一化后样本集,均值,标准差 10 """ 11 m, n = x.shape 12 mean = np.zeros((1, n)) 13 std = np.zeros((1, n)) 14 # 计算各列均值 15 mean = np.mean(x, axis=0) 16 # 计算各列标准差 17 std = np.std(x, axis=0) 18 # 对每个特征值归一化 19 for i in range(n): 20 x[:, i] = (x[:, i] - mean[i]) / std[i] 21 return x, mean, std 22 23 24 def cal_eigenvalue(nor_x): 25 """ 26 求样本协方差矩阵的特征值和特征向量 27 :param nor_x: 归一化后的样本集 28 :return: 特征值,特征向量,排序索引号 29 """ 30 m, n = nor_x.shape 31 # 协方差矩阵 32 sigma = np.dot(np.transpose(nor_x), nor_x)/(m - 1) 33 # 求协方差矩阵的特征值和特征向量,eig_vec[:,i]是对应于eig_val[i]的特征向量 34 eig_val, eig_vec = np.linalg.eig(sigma) 35 index = eig_val.argsort() 36 return eig_val, eig_vec, index 37 38 39 def pca(x, k): 40 """ 41 提取前k个主成分 42 :param x: 样本集 43 :param k: 前k个特征值 44 :return: 返回降维后样本,累计贡献度,主成分索引 45 """ 46 # 归一化 47 nor_x, mean, std = feature_Normalize(x) 48 # 求特征值和特征向量 49 eig_val, eig_vec, index = cal_eigenvalue(nor_x) 50 eig_index = index[:-(k+1):-1] 51 # 累计贡献度 52 sum_con = sum(eig_val[eig_index])/sum(eig_val) 53 # 前k个特征值对应的特征向量 54 k_eig_vec = eig_vec[:, eig_index] 55 lowDData = np.dot(nor_x, k_eig_vec) 56 return lowDData, sum_con, eig_index
标签：... pca 一维数组 turn 个数 orm 选择 sub span
原文地址：https://www.cnblogs.com/reaptomorrow-flydream/p/9687805.html
