1.1 产品特性 UniEAP DataQuality（以下简称DataQuality）是UniEAP最新推出的数据质量管理平台。基于数据监控服务、数据质量校验引擎、数据清洗引擎以及面向服务数据质量架构实现了数据质量管理平台，产品关键特性主要有： 通过图形化的页面支持所有主流数据库的数据质量校验，校 ...
分类：
其他好文 时间：
2019-10-24 15:10:54
阅读次数：
120
在前面我们分别讨论了特征工程中的特征选择与特征表达，本文我们来讨论特征预处理的相关问题。主要包括特征的归一化和标准化，异常特征样本清洗与样本数据不平衡问题的处理。 1. 特征的标准化和归一化 由于标准化和归一化这两个词经常混用，所以本文不再区别标准化和归一化，而通过具体的标准化和归一化方法来区别具体 ...
分类：
其他好文 时间：
2019-10-24 00:23:40
阅读次数：
73
import pandas as pdimport seaborn as snsimport geohashimport matplotlib.pyplot as pltfrom math import radians,cos,sin,asin,sqrt%matplotlib inline trai ...
分类：
其他好文 时间：
2019-10-18 15:47:39
阅读次数：
130
一、读入titanic.xlsx文件，按照教材示例步骤，完成数据清洗。 titanic数据集包含11个特征，分别是： Survived:0代表死亡，1代表存活Pclass:乘客所持票类，有三种值(1,2,3)Name:乘客姓名Sex:乘客性别Age:乘客年龄(有缺失)SibSp:乘客兄弟姐妹/配偶的 ...
分类：
其他好文 时间：
2019-10-17 13:44:14
阅读次数：
83
Pandas通常是用于数据分析过程中, 数据的清洗, 数据预处理, 数据的描述性分析等过程中。在整个Python数据分析的生态环境中, Pandas的地位非常重要, 利用Pandas可以快速便捷的对数据进行各种各样的处理与操作。可以说是升级版的Excel。Pandas是基于Numpy的一个数据分析包 ...
分类：
其他好文 时间：
2019-10-16 00:51:34
阅读次数：
114
探索一的内容,选取部分数据进行数据清洗,建立模型,并检验模型的评估效果. https://nbviewer.jupyter.org/github/donggu26/python/blob/master/%E6%B3%B0%E5%9D%A6%E5%B0%BC%E5%85%8B%E5%8F%B7%E6% ...
分类：
其他好文 时间：
2019-10-11 10:40:32
阅读次数：
76
1、背景： 数据在使用的过程中会慢慢衰减，原因是数据使用频繁会被冻结一段时间和其他一些造成数据某个时间点不可用的未知因素，基于这中现象有必要设计清洗历史数据。我们当前原始清洗过程只是负责获取基本信息，因为历史数据的清洗会出现获取基本信息后不能做任务，所以我的设计将清洗历史数据分成初次清洗和二次清洗两 ...
分类：
其他好文 时间：
2019-10-10 12:47:33
阅读次数：
80
数据分析流程 一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下： 数据获取：公开数据、Python爬虫 外部数据的获取方式主要有以下两种。 第一种是获取外部的公开数据集，一些科研机构、企业、 ...
分类：
编程语言 时间：
2019-10-09 15:18:08
阅读次数：
86
1.计算机基础 cpu：中央处理器 内存：临时存放数据，CPU从内存取数据计算 成本高，断电即消失。 硬盘：1T 固态硬盘，机械硬盘，储存数据，长久保持重要文件等等。 操作系统： 应用程序： 2.Python的历史：崇尚优美，清洗，简单。 1.Python 是由 Guido van Rossum 在 ...
分类：
编程语言 时间：
2019-10-08 22:09:05
阅读次数：
119
