一、用自己的话描述出其本身的含义: 1、特征选择 特征选择是将高维数据映射或者转换改成低维数据,完成降维目标,通过特征选取的方式将冗余或者不相关的特征删除掉,实现进一步的降维。 2、PCA 主成分分析又叫主元分析,该方法主要的思想是通过原始特征进行变换,从而找出一组互相不相关而且重要性从小到大排列的 ...
分类:
其他好文 时间:
2020-06-09 10:01:01
阅读次数:
53
降维(Dimensionality Reduction) 是机器学习中的一种重要的特征处理手段,它可以减少计算过程中考虑到的随机变量(即特征)的个数,其被广泛应用于各种机器学习问题中,用于消除噪声、对抗数据稀疏问题。它在尽可能维持原始数据的内在结构的前提下,得到一组描述原数据的,低维度的隐式特征(或 ...
分类:
编程语言 时间:
2020-06-07 00:46:37
阅读次数:
116
数据角度的模型一般指的是统计或数据挖掘、机器学习、人工智能等类型的模型,是纯粹从科学角度出发定义的。 1.降维 在面对海量数据或大数据进行数据挖掘时,通常会面临“维度灾难”,原因是数据集的维度可以不断增加直至无穷多,但计算机的处理能力和速度却是有限的;另外,数据集的大量维度之间可能存在共线性的关系,这会直接导致学习模型的健壮性不够,甚至很多时候算法结果会失效。因此,我们需要降低维度数量并降
分类:
其他好文 时间:
2020-06-04 15:26:58
阅读次数:
247
原文链接 从高数原理推导出的PCA降维 【机器学习】降维-PCA PCA(Principal Component Analysis) 是一种常见的数据分析方式,常用于高维数据的降维,可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最近重构性两方面进行,前者的优化条件为划分后方差最 ...
分类:
编程语言 时间:
2020-06-03 15:13:40
阅读次数:
75
PCA对手写数字数据集的降维 1. 导入需要的模块和库 from sklearn.decomposition import PCA from sklearn.ensemble import RandomForestClassifier as RFC from sklearn.model_select ...
分类:
编程语言 时间:
2020-05-30 23:26:07
阅读次数:
114
PCA中的SVD 1 PCA中的SVD哪里来? 细心的小伙伴可能注意到了,svd_solver是奇异值分解器的意思,为什么PCA算法下面会有有关奇异值分解的参数?不是两种算法么?我们之前曾经提到过,PCA和SVD涉及了大量的矩阵计算,两者都是运算量很大的模型,但其实,SVD有一种惊人的数学性质,即是 ...
分类:
编程语言 时间:
2020-05-29 17:46:29
阅读次数:
69
上周需要改一个降维的模型,之前的人用的是sklearn里的t-SNE把数据从高维降到了二维。我大概看了下算法的原理,和isomap有点类似,和dbscan也有点类似。不过这里就不详细讲了,这里说最重要的perplexity参数应该怎么调。 百度了一些文章,都说5-50就行。人云亦云,一个地方抄另外一 ...
分类:
其他好文 时间:
2020-05-24 23:52:47
阅读次数:
108
1.池化的作用: ①降级图像感受野; ②降维; 2.使用场景 avgpool: 当feature map中的信息都应该有所贡献的时候用avgpool, 例如图像分割中常用global avgpool来获取全局上下文关系, 再例如224*224图像分类将最后的7*7map进行avgpool而不是max ...
分类:
其他好文 时间:
2020-05-18 13:57:54
阅读次数:
563
一、数据集介绍 该案例描述的是一段时间内客户的订单,预测用户下一次将会买那些订单。 数据集的信息如下: products.csv 商品信息 order_products__prior.csv 订单与商品关系信息 orders.csv 订单信息 aisles.csv 商品所属的具体类别 1、 prod ...
分类:
其他好文 时间:
2020-05-17 15:57:47
阅读次数:
55