数据预处理技术数据清理：空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除数据集成：将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。数据变换：平滑、聚集、规范化、最小 最大规范化等数据归约：维归（删除不相关的属性（维））、数据压缩（PCA,LDA,SVD、小...
分类：
其他好文 时间：
2015-10-28 21:14:34
阅读次数：
546
数据预处理的主要任务如下：（1）数据清理：填写空缺值，平滑噪声数据，识别，删除孤立点，解决不一致性（2）数据集成：集成多个数据库，数据立方体，文件（3）数据变换：规范化（消除冗余属性）和聚集（数据汇总），将数据从一个较大的子空间投影到一个较小的子空间（4）数据归约：得到数据集的压缩表示，量小，但可以...
分类：
其他好文 时间：
2015-10-26 13:28:05
阅读次数：
261
原文：http://dataunion.org/5009.html一：为什么要预处理数据？（1）现实世界的数据是肮脏的（不完整，含噪声，不一致）（2）没有高质量的数据，就没有高质量的挖掘结果（高质量的决策必须依赖于高质量的数据；数据仓库需要对高质量的数据进行一致地集成）（3）原始数据中存在的问题：不...
分类：
其他好文 时间：
2015-10-12 00:31:37
阅读次数：
15143
#KNN算法思路：#-----------------------------------------------------##step1:读入数据，存储为链表#step2:数据预处理，包括缺失值处理、归一化等#step3:设置K值#step4:计算待测样本与所有样本的距离(二值、序数、连续)#step5:投票决定待测样本的类别#step6:利用测试集测试..
分类：
编程语言 时间：
2015-09-04 12:41:49
阅读次数：
288
本章内容： 操纵日期和缺失值 熟悉数据类型的转换 变量的创建和重编码 数据集的排序，合并与取子集 选入和丢弃变量 多说一句，数据预处理的时间是最长的……确实是这样的，额。 4.1一个示例 4.2创建新变量 算术运算符：+、-、*、/、^(**)(求幂)、x %% y(取余运算)、x %/% y(整数...
分类：
编程语言 时间：
2015-08-11 07:05:10
阅读次数：
151
原文：http://www.itongji.cn/article/0Q926052013.html在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数...
分类：
其他好文 时间：
2015-07-25 16:37:45
阅读次数：
245
docs
setwd("E:/test/");
dirlist
voc
for(file in dirlist)
{
f
data
data
voc
voc
print(data)
df
print("---")
na
v
for(n in na)
{
v
}
m
l...
分类：
编程语言 时间：
2015-07-20 19:29:17
阅读次数：
323
数据预处理的目标是改善数据挖掘分析工作，减少时间，降低成本和提高质量。数据预处理是选择分析所需要的数据对象和属性以及创建/改变属性的过程。方法主要包括：聚集，抽样，维归约，特征子集选择，特征创建，离散化和二元化，变量变换。聚集（Aggregation）：将两个或多个对象合并成单个对象。比如通过合并每...
分类：
其他好文 时间：
2015-07-18 13:55:14
阅读次数：
131
本文参考：http://scikit-learn.org/stable/data_transforms.html
本篇主要讲数据预处理，包括四部分：
数据清洗、数据降维（PCA类）、数据增维（Kernel类）、提取自定义特征。哇哈哈，还是关注预处理比较靠谱。。。。
重要的不翻译：scikit-learn provides
a library of transformers, whi...
分类：
其他好文 时间：
2015-07-17 10:09:01
阅读次数：
145
关联分析、噪声、高维性数据挖掘不是信息检索数据库中知识发现KDD：输入数据->数据预处理(特征选择、维归约、规范化、选择数据子集)->数据挖掘->后处理(模式过滤、可视化、模式表示)->信息数据预处理阶段，涉及融合多个数据源的数据、清洗数据、去噪和重复的观测值..
分类：
其他好文 时间：
2015-07-07 13:16:33
阅读次数：
239
