相关分析是数据分析的一个基本方法，可以用于发现不同变量之间的关联性，关联是指数据之间变化的相似性，这可以通过相关系数来描述。发现相关性可以帮助你预测未来，而发现因果关系意味着你可以改变世界。 一，协方差和相关系数 如果随机变量X和Y是相互独立的，那么协方差 Cov(X,Y) = E{ [X-E(X) ...
分类：
其他好文 时间：
2018-10-23 11:56:33
阅读次数：
255
方差分析（单因素方差分析、多因素方差分析、协方差分析） 基本概念：进行两组以上均数的比较，检验两个或两个以上样本均数差别的显著性（T检验主要是检验两个样本均数差别的显著性） 基本思想：通过分析不同变量的变异对总变异的贡献大小，确定控制变量对研究结果影响力的大小 前提条件：不同水平下各总体均值服从方差 ...
分类：
其他好文 时间：
2018-10-14 21:59:03
阅读次数：
187
Pca首先 1.对数据进行去均值 2.构造一个基本的协方差矩阵1/m(X)*X^T 3对协方差矩阵进行变化，得到对角化矩阵，即对角化上有数值，其他位置上的数为0(协方差为0)，即求特征值和特征向量的过程 4.求得特征向量的单位化矩阵，单位化特征向量矩阵*原始数据（去均值后的）即降维操作,单位化特征向 ...
分类：
编程语言 时间：
2018-10-14 00:20:51
阅读次数：
147
Python中的pandas模块进行数据分析。 接下来pandas介绍中将学习到如下8块内容： 1、数据结构简介：DataFrame和Series 2、数据索引index 3、利用pandas查询数据 4、利用pandas的DataFrames进行统计分析 5、利用pandas实现SQL操作 6、利 ...
分类：
编程语言 时间：
2018-10-10 15:28:45
阅读次数：
196
目前还弄不清是什么原因，有多大影响，只知道存在这个问题。 运行版本: 1.MatlabR2015b windows64Bit 2.https://octave-online.net/ 代码： 结果 err1接近于0，err2，err3相等且等于1.05，对比了一下对应的矩阵数据，确实有差异。 Tod ...
分类：
其他好文 时间：
2018-10-09 10:18:52
阅读次数：
169
《数据清洗和特征选择→PCA→1.算法理解》PCA的理解主要是明白2个协方差矩阵的意义以及关系设原始数据矩阵X对应的协方差矩阵为C，而P是一组基按行组成的矩阵，设Y=PX，则Y为X对P做基变换后的数据。设Y的协方差矩阵为D，我们推导一下D与C的关系：而对于协方差矩阵来说，一定可以找到n个单位正交特征 ...
分类：
编程语言 时间：
2018-10-08 15:53:31
阅读次数：
180
PCA主成分分析算法，是一种线性降维，将高维坐标系映射到低维坐标系中。 如何选择低维坐标系呢？ 通过协方差矩阵的特征值和特征向量，特征向量代表坐标系，特征值代表映射到新坐标的长度。 算法步骤： 输入：样本集D={x1,x2,...,xm}； 低维空间维数k 第一步：将样本集中心化。每一列的特征值减去 ...
分类：
编程语言 时间：
2018-09-21 18:27:36
阅读次数：
224
1. PCA优缺点 利用PCA达到降维目的，避免高维灾难。 PCA把所有样本当作一个整体处理，忽略了类别属性，所以其丢掉的某些属性可能正好包含了重要的分类信息 2. PCA原理 条件1：给定一个m*n的数据矩阵D， 其协方差矩阵为S. 如果D经过预处理， 使得每个每个属性的均值均为0， 则有S=DT ...
分类：
编程语言 时间：
2018-09-12 13:54:53
阅读次数：
605
1、线性模型 形式简单、易于建模、很好的可解释性 2、逻辑回归 无需事先假设数据分布； 可得到近似概率预测； 对率函数任意阶可导的凸函数，许多数值优化算法都可直接用于求取最优解 3、线性判别分析（LDA） 当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类 4、boosting 代表 ...
分类：
编程语言 时间：
2018-09-06 22:49:29
阅读次数：
191
