1、 均值 数学定义： MATLAB中均值、方差、均方差的计算方法 Matlab函数：mean x=[1 2 3]; mean(x) ans = 2 如果X是一个矩阵，则其均值是一个向量组。mean(X,1)为列向量的均值，mean(X,2)为行向量的均值。 x=[1 2 3;4 5 6]; mea ...
分类：
其他好文 时间：
2020-02-22 09:48:43
阅读次数：
77
看到网上有一堆“博客”，明显是抄袭的，前后矛盾，自己摸索着写了一个PCA的计算过程。 假设有5个学生的6门功课：语文、数学、地理、化学、英语、历史，成绩如下： 注意，行是样本（表示一个学生），列是特征（表示一门课）。 首先要搞明白什么是协方差。定义：（下面的n是样本数） 均值（假设权重概率都为1）： ...
分类：
其他好文 时间：
2020-02-13 11:24:54
阅读次数：
147
（一） 数据处理 ① 插值拟合 主要用于对数据的补全和基本的趋势分析 ② 小波分析，聚类分析（高斯混合聚类，K-均值聚类等等） 主要用于诊断数据异常值并进行剔除 ③ 主成成分分析、线性判别分析、局部保留投影等 主要用于多维数据的降维处理，减少数据冗余 ④ 均值、方差分析、协方差分析等统计方法 主要用 ...
分类：
其他好文 时间：
2020-02-12 16:28:34
阅读次数：
117
协方差矩阵的定义 设一个随机向量为$\mathbf{x} \in \mathbb{R}^\mathrm{N}$，其均值为$\bar{\mathbf{x}}$，则令$\mathbf{y} = \mathbf{x} \bar{\mathbf{x}}$，则随机向量$\mathbf{x}$的协方差定义为： ...
分类：
其他好文 时间：
2020-01-31 23:08:43
阅读次数：
198
方差是用来度量随机变量X 与其均值E(X) 的偏离程度。 【随机变量的协方差】 在概率论和统计中，协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关，协方差越大，完全线性无关，协方差为零。定义如下： 当X，Y是同一个随机变量时，XX与其自身的协方差就是XX的方差，可以说方差 ...
分类：
其他好文 时间：
2020-01-29 12:55:12
阅读次数：
114
1. 直推式的PCA 基本步骤： 对样本数据进行中心化处理（这步操作比较重要，特别是对推导公式） 求样本的协方差矩阵； 对样本的协方差矩阵进行特征值分解，并通过前k个特征值对应的特征向量进行映射： PCA的优化目标是： X = D + N，即低秩矩阵D和独立同分布的Gaussian噪声； 1 def ...
分类：
编程语言 时间：
2020-01-10 22:12:25
阅读次数：
95
数据挖掘中所需的概率论与数理统计知识 （关键词：微积分、概率分布、期望、方差、协方差、数理统计简史、大数定律、中心极限定理、正态分布） 导言：本文从微积分相关概念，梳理到概率论与数理统计中的相关知识，但本文之压轴戏在本文第4节（彻底颠覆以前读书时大学课本灌输给你的观念，一探正态分布之神秘芳踪，知晓其 ...
分类：
其他好文 时间：
2020-01-10 01:06:15
阅读次数：
299
机器学习基础 [toc] 1. 概率和统计 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 顾名思义： 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 统计研究的问题则相反。统计是，有一 ...
分类：
其他好文 时间：
2020-01-09 00:55:49
阅读次数：
134
任务4 1、KNN的决策边界以及K的影响 决策边界分成两大类，分别是线性决策边界和非线性决策边界。拥有线性决策边界的模型我们称为线性模型，反之非线性模型. 随着K值的增加，决策边界确实会变得更加平滑。决策边界的平滑也意味着模型的稳定性。但稳定不代表这个模型就会越准确。虽然决策边界平滑会使得模型变得更 ...
分类：
其他好文 时间：
2020-01-07 01:07:25
阅读次数：
163
任务4 随着K值的增大，决策边界会变得更加平滑，决策边界的平滑也意味着模型的稳定性。但稳定不代表这个模型就会越准确。 np.random.multivariate_normal()： 从多元正态分布中随机抽取样本，将一维正态分布推广到更高维度的方法。这种分布由其均值和协方差矩阵指定。这些参数类似于一 ...
分类：
其他好文 时间：
2020-01-06 17:59:07
阅读次数：
117
