1. 直推式的PCA 基本步骤： 对样本数据进行中心化处理（这步操作比较重要，特别是对推导公式） 求样本的协方差矩阵； 对样本的协方差矩阵进行特征值分解，并通过前k个特征值对应的特征向量进行映射： PCA的优化目标是： X = D + N，即低秩矩阵D和独立同分布的Gaussian噪声； 1 def ...
分类：
编程语言 时间：
2020-01-10 22:12:25
阅读次数：
95
打算把一些零碎的矩阵知识总结在这里，因为发现自己记的太零散，不成体系。 1：矩阵的迹trace：tr(A)，为矩阵主对角元素的和，同时也是矩阵所有特征值的和。 2：对于任意的矩阵A，A*A^{H}都是对称半正定矩阵，其特征值a_{i}都是非负实数。 此时A的奇异值s_{i}为a_{i}的正平方根。（ ...
分类：
其他好文 时间：
2020-01-08 19:01:25
阅读次数：
164
CART算法 原理 CART全称为Classification and Regression Tree。 回归树 相比ID3，CART遍历所有的特征和特征值，然后使用二元切分法划分数据子集，也就是每个节点都只会分裂2个分支。接着计算数据子集的总方差来度量数据子集的混乱程度，总方差越小数据子集越纯，最 ...
分类：
其他好文 时间：
2020-01-07 18:03:09
阅读次数：
183
这是我写的第一篇总结， 写总结的目的是 ， 回顾 ， 反思 ， 超越 上午考试 T1 是一个关于矩阵的题，求K次幂之后的和 ， 及异或和， 考试只拿了四十分的暴力 ， 据说正解要用到 特征值，我都不知道特征值是啥，看来这又是一道改不完的题了。 T2 是数据结构wlj，爆切了他（虽然是在考试后），而我 ...
分类：
其他好文 时间：
2020-01-05 22:13:12
阅读次数：
88
提取方差大于阀值的特征数据VarianceThreshold https://blog.csdn.net/weixin_42575020/article/details/82887014 假设某特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大 ...
分类：
其他好文 时间：
2019-12-28 19:17:17
阅读次数：
73
决策树算法 如何能够基于既有的数据来进行分类和回归？决策树是解决这类问题的机器学习模型。 解决思路是：通过样本特征的三个数字特征：1）满足特征值的样本数量；2）1）样本的分类各自数量有多该少；3）总的样本数量，来作为input参数，通过构建/选择的模型就计算出来该特征的指标，对于ID3而是信息增益，... ...
分类：
其他好文 时间：
2019-12-26 21:11:21
阅读次数：
98
分类器有时会产生错误结果，这时可以要求分类器给出一个最优的类别猜测结果，同 时给出这个猜测的概率估计值。 概率论是许多机器学习算法的基础 在计算 特征值取某个值的概率时涉及了一些概率知识，在那里我们先统计特征在数据集中取某个特定值 的次数，然后除以数据集的实例总数，就得到了特征取该值的概率。 首先从 ...
分类：
编程语言 时间：
2019-12-15 01:04:42
阅读次数：
106
线性回归的定义 利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式 线性回归的分类 线性关系 非线性关系 损失函数 最小二乘法 线性回归优化方法 正规方程 梯度下降法 正规方程 -- 一蹴而就 利用矩阵的逆,转置进行一步求解 只是适合样本和特征比较少的情 ...
系列博客，原文在笔者所维护的github上：https://aka.ms/beginnerAI， 点击star加星不要吝啬，星越多笔者越努力 5.2 神经网络解法 与单特征值的线性回归问题类似，多变量（多特征值）的线性回归可以被看做是一种高维空间的线性拟合。以具有两个特征的情况为例，这种线性拟合不再 ...
分类：
其他好文 时间：
2019-12-13 13:55:52
阅读次数：
100
代码来自《机器学习实战》https://github.com/wzy6642/Machine-Learning-in-Action-Python3 K-近邻算法(KNN) 介绍 简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。 优点：精度高、对异常值不敏感，无数据输入假定。 缺点：计 ...
分类：
其他好文 时间：
2019-12-11 23:18:34
阅读次数：
114
