import pandas as pd data = pd.read_csv("train.csv") #确定每一列，或者叫每一个series下，是否有空数据 columns_name = data.columns.tolist() columns_name_true_false={} print( ...
分类：
其他好文 时间：
2020-08-17 17:53:50
阅读次数：
108
数据处理的工作时间占整个数据分析项目的70%以上，因此，数据的质量直接决定了分析模型的准确性。那么，数据预处理的方法是什么呢？例如数据清理、数据集成、数据规范、数据转换等，其中最常用的是数据清理和数据集成，下面中琛魔方将来详细介绍一下这2种方法。 数据预处理的方法 1、数据清洗 数据清洗是通过填补缺失值，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。简单来说，就是把数据里面哪些缺胳
分类：
其他好文 时间：
2020-08-13 11:52:24
阅读次数：
51
作者|KAUSHIK 编译|VK 来源|Analytics Vidhya 概述 学会用KNNImputer来填补数据中的缺失值 了解缺失值及其类型 介绍 scikit learn公司的KNNImputer是一种广泛使用的缺失值插补方法。它被广泛认为是传统插补技术的替代品。 在当今世界，数据是从许多来 ...
分类：
其他好文 时间：
2020-07-28 14:37:32
阅读次数：
98
缺失值处理 1.当缺失值的比例占数据样本的比例比较小，则可以直接删除。 2.数据补齐 查看缺失值 df = pd.read_excel(r'缺失值处理.xlsx') df 每列缺失值的总数 df.isnull().sum() 列缺失值所占的比例 #apply df.apply(lambda x: s ...
分类：
其他好文 时间：
2020-07-16 21:46:44
阅读次数：
117
本文目录 1.基础概念 1.1缺失值分类 1.2缺失值处理方法 2.缺失观测及其类型 2.1了解缺失信息 2.2三种缺失符号 2.3Nullable类型与NA符号 2.4NA的特性 2.5convert_dtypes方法 3.缺失数据的运算与分组 3.1加号与乘号规则 3.2groupby方法中的缺 ...
分类：
其他好文 时间：
2020-07-07 19:45:37
阅读次数：
122
1.下面的代码是上一篇理论中的小例子 from sklearn.neighbors import KNeighborsClassifier # K近邻分类器 from sklearn.datasets import load_iris # 鸢尾花数据 from sklearn.tree import ...
分类：
其他好文 时间：
2020-06-28 22:54:43
阅读次数：
101
1、因为电脑不是最新版本，先更新：pip install --upgrade pandas 2、感兴趣，或者今后可能会常用的： （b）查看缺失值的所以在行 df[df['Physics'].isna()] （c）挑选出所有非缺失值列 使用all就是全部非缺失值，如果是any就是至少有一个不是缺失值 ...
分类：
其他好文 时间：
2020-06-20 13:54:12
阅读次数：
49
缺失值清洗： 1. 确定缺失值范围：根据缺失值范围来选择下一步操作； 2. 去除不需要的字段：直接删除该字段数据； 3. 填充：根据经验、建模预测等填充缺失值； 4. 重新获取：若信息很重要，确实率很高，可重新获取； 格式内容清洗 1. 时间、日期等，统一其格式； 2. 内容中不该存在的字符：如空格 ...
分类：
其他好文 时间：
2020-06-09 19:02:51
阅读次数：
82
一个单值指标聚合，它计算从聚合文档中提取的数值的平均值，这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。 ...
分类：
其他好文 时间：
2020-05-30 01:30:56
阅读次数：
142
申请评分卡模型 数据的预处理与特征构建 简介：在构建评分卡模型的工作中，数据的预处理和特征构建工作是至关重要的一步。数据的预处理工作可以有效处理缺失值与异常值，从而增强模型的稳健性。而特征构建工作则可以将信息从字段中加以提炼，形成有业务含义的优异特征。 评分卡模型的简介 风控场景中的评分卡： 以分数... ...
分类：
其他好文 时间：
2020-05-25 00:26:36
阅读次数：
160
