方差是用来度量随机变量X 与其均值E(X) 的偏离程度。 【随机变量的协方差】 在概率论和统计中，协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关，协方差越大，完全线性无关，协方差为零。定义如下： 当X，Y是同一个随机变量时，XX与其自身的协方差就是XX的方差，可以说方差 ...
分类：
其他好文 时间：
2020-01-29 12:55:12
阅读次数：
114
1. 直推式的PCA 基本步骤： 对样本数据进行中心化处理（这步操作比较重要，特别是对推导公式） 求样本的协方差矩阵； 对样本的协方差矩阵进行特征值分解，并通过前k个特征值对应的特征向量进行映射： PCA的优化目标是： X = D + N，即低秩矩阵D和独立同分布的Gaussian噪声； 1 def ...
分类：
编程语言 时间：
2020-01-10 22:12:25
阅读次数：
95
任务4 1、KNN的决策边界以及K的影响 决策边界分成两大类，分别是线性决策边界和非线性决策边界。拥有线性决策边界的模型我们称为线性模型，反之非线性模型. 随着K值的增加，决策边界确实会变得更加平滑。决策边界的平滑也意味着模型的稳定性。但稳定不代表这个模型就会越准确。虽然决策边界平滑会使得模型变得更 ...
分类：
其他好文 时间：
2020-01-07 01:07:25
阅读次数：
163
任务4 随着K值的增大，决策边界会变得更加平滑，决策边界的平滑也意味着模型的稳定性。但稳定不代表这个模型就会越准确。 np.random.multivariate_normal()： 从多元正态分布中随机抽取样本，将一维正态分布推广到更高维度的方法。这种分布由其均值和协方差矩阵指定。这些参数类似于一 ...
分类：
其他好文 时间：
2020-01-06 17:59:07
阅读次数：
117
PCA的流程： 代码参考：https://www.cnblogs.com/clnchanpin/p/7199713.html 协方差矩阵的计算 https://docs.scipy.org/doc/numpy/reference/generated/numpy.cov.html 思想： https: ...
分类：
其他好文 时间：
2019-12-28 09:56:21
阅读次数：
86
因为 是协方差矩阵，只有对角线上有元素，所以转置对它没有影响，即 其实递推最小二乘法：就是想使方差之和最小，然后发现，方差之和就是估计误差的协方差矩阵的迹，迹里面又包含了K，所以也就是求K使得迹最小，即对K求导。 参考链接：https://zhuanlan.zhihu.com/p/59532437 ...
分类：
其他好文 时间：
2019-12-20 20:40:34
阅读次数：
85
1. 方差和协方差的定义 在统计学中，方差是用来度量单个随机变量的离散程度，而协方差则一般用来刻画两个随机变量的相似程度，其中，方差的计算公式为 其中， 表示样本量，符号 表示观测样本的均值。 协方差的计算公式被定义为： 在公式中，符号 分别表示两个随机变量所对应的观测样本均值，据此，我们发现：方差 ...
分类：
其他好文 时间：
2019-12-10 22:41:34
阅读次数：
156
1. 欧氏距离(Euclidean Distance) 欧氏距离是最容易直观理解的距离度量方法，我们小学、初中和高中接触到的两个点在空间中的距离一般都是指欧氏距离。 二维平面上点a(x1,y1)与b(x2,y2)间的欧氏距离: 三维空间点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离: ...
分类：
其他好文 时间：
2019-12-02 18:35:57
阅读次数：
109
均值：描述的是样本集合的中间点。 方差：描述的是样本集合的各个样本点到均值的距离之平均，一般是用来描述一维数据的。 协方差： 是一种用来度量两个随机变量关系的统计量。 只能处理二维问题。 计算协方差需要计算均值。 如下式： 方差与协方差的关系 方差是用来度量单个变量 “ 自身变异”大小的总体参数，方 ...
分类：
其他好文 时间：
2019-11-26 23:00:38
阅读次数：
113
主成分分析 线性、非监督、全局的降维算法 PCA最大方差理论 出发点：在信号处理领域，信号具有较大方差，噪声具有较小方差 目标：最大化投影方差，让数据在主投影方向上方差最大 PCA的求解方法： 对样本数据进行中心化处理 求样本协方差矩阵 对协方差矩阵进行特征分解，将特征值从大到小排列 取特征值前d大 ...
分类：
其他好文 时间：
2019-11-24 15:58:56
阅读次数：
102
