一、用自己的话描述出其本身的含义： 1、特征选择 答：特征选择也叫特征子集选择 。是指从已有的M个特征中选择N个特征使得系统的特定指标最优化，是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段,也是模式识别中关键的数据预处理步骤。 2、PCA 答：PCA顾名思 ...
分类：
其他好文 时间：
2020-05-04 00:37:14
阅读次数：
72
数据预处理的主要内容包括数据清洗、数据集成、数据变换、数据规约。 数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值和异常值。 数据质量分析是检查数据中是否存在一些脏数据，例如：缺失值、异常值和不一致的值等。 数据缺失有很多原因，例如数据无法获得 ...
分类：
其他好文 时间：
2020-05-03 16:39:32
阅读次数：
136
数据采集利用各种手段获取数据,数据样式不限制,但一般而言是形如excel或者csv这样的表格格式。数据采集:urllib,requests数据解析:Xpath,BS4,正则表达式数据持久化存储:pd.to_csv,pd.to_excel,MySQL,Redis数据预处理一般而言,数据分析和数据挖掘领域的处理的数据都是海量的数据,这样的数据难免会出现问题。数据预处理占到数据挖掘工作的60%,这是最重
分类：
编程语言 时间：
2020-05-03 00:58:59
阅读次数：
67
本文主要记录: 1. 离散特征如何预处理之后嵌入 2.使用pytorch怎么使用nn.embedding 以推荐系统中：考虑输入样本只有两个特征，用逻辑回归来预测点击率ctr 看图混个眼熟，后面再说明: 一、离散数据预处理 假设一个样本有两个离散特征【职业，省份】，第一个特征种类有10种，第二个特征 ...
分类：
其他好文 时间：
2020-05-02 09:46:29
阅读次数：
260
一、用自己的话描述出其本身的含义： 1、特征选择 特征选择也叫特征子集选择。是指从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化， 是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段, 也是模式识别中关键的数据预处理步骤。 2、PCA ...
分类：
其他好文 时间：
2020-04-30 23:01:01
阅读次数：
59
一、用自己的话描述出其本身的含义： 1、特征选择 是指从已有的M个特征中选择N个特征使得系统的特定指标最优化，是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段,也是模式识别中关键的数据预处理步骤。 2、PCA 主成分分析 ，是一种掌握事物主要矛盾的统计分析方 ...
分类：
其他好文 时间：
2020-04-28 12:58:30
阅读次数：
68
1. 数据预处理；2. 特征工程；3. 模型选择/融合；4. 模型训练/测试；5. 其他问题；6. 模型评估。 ...
分类：
其他好文 时间：
2020-04-18 23:05:16
阅读次数：
129
0. 需求 当训练的数据非常多时，是不希望分配过多的内存将数据存入，否则其他占用内存的数据处理步骤就没法进行了。我们最好是以小批量地方式读入数据，然后预处理，然后送到网络，之后释放内存，以此循环。 1. 方法的简要说明 tf.keras中有一个高度封装的图片预处理类：ImageDataGenerat ...
分类：
其他好文 时间：
2020-04-10 09:17:28
阅读次数：
174
实体嵌入（embedding）目的将表格数据中的分类属性（一个至多个）向量化。1.实体嵌入简介：实体嵌入是主要应用于深度学习中处理表格分类数据的一种技术，或者更确切地说NLP领域最为火爆，word2vec就是在做word的embedding。神经网络相比于当下的流行的xgboost、LGBM等树模型... ...
分类：
其他好文 时间：
2020-04-05 00:32:18
阅读次数：
108
一、大数据预处理的几个步骤 1.数据预处理 2.数据清洗 3.数据集成 4.数据归约 5.数据变换 6.数据离散化 7.大数据预处理 二、数据预处理 现实中的数据大多是“脏”数据： ①不完整 缺少属性值或仅仅包含聚集数据 ②含噪声 包含错误或存在偏离期望的离群值 比如：salary=“-10”，明显 ...
分类：
其他好文 时间：
2020-04-03 22:15:48
阅读次数：
171
