数据预处理技术数据清理：空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除数据集成：将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。数据变换：平滑、聚集、规范化、最小 最大规范化等数据归约：维归（删除不相关的属性（维））、数据压缩（PCA,LDA,SVD、小...
分类：
其他好文 时间：
2015-10-28 21:14:34
阅读次数：
546
数据预处理的主要任务如下：（1）数据清理：填写空缺值，平滑噪声数据，识别，删除孤立点，解决不一致性（2）数据集成：集成多个数据库，数据立方体，文件（3）数据变换：规范化（消除冗余属性）和聚集（数据汇总），将数据从一个较大的子空间投影到一个较小的子空间（4）数据归约：得到数据集的压缩表示，量小，但可以...
分类：
其他好文 时间：
2015-10-26 13:28:05
阅读次数：
261
一.定义MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和它们的主要思想， 都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。...
分类：
其他好文 时间：
2015-09-18 15:10:28
阅读次数：
153
上篇讲述了Hadoop的核心内容之一HDFS，是Hhadoop分布式的平台基础，而这讲的MapReduce则是充分利用Hdfs分布式，提高运行效率的算法模型 ，Map(映射)和Reduce(归约)两个主要阶段都以键值对作为输入和输出，我们需要做的就是对这些，value>做我们想要的处理。看似简单实则麻烦，因为这里太灵活多变。 一，好，首先来看下边两个图，看下mapreduce在Hadoo...
分类：
其他好文 时间：
2015-09-09 01:09:58
阅读次数：
272
P问题：在多项式时间内解决。NP问题：在多项式时间内验证可能答案中的一个。NPC问题：所有NP问题归约成一个问题，解决了这个问题，就相当于解决了所有的NP问题。P问题是NP问题，因为在多项式时间内解决就肯定可以在多项式时间内验证可能答案中的一个NP问题是P问题吗？未获证明！解决了该问题去美国哪100...
分类：
其他好文 时间：
2015-07-29 13:56:33
阅读次数：
126
为什么需要在Mapper端进行归约处理？
为什么可以在Mapper端进行归约处理？
既然在Mapper端可以进行归约处理，为什么在Reducer端还要处理？...
分类：
其他好文 时间：
2015-07-28 10:55:06
阅读次数：
119
题意：不想说，这个题意思了，含糊不清=-=
Dijkstra算法，无法计算有负边的图，原因是有负边的图存在是会打乱Dijkstra算法的前提，当前优先队列取出点的距离为起点到该点的最小距离，因为如果后面有负边这个距离会更小。除此之外Bellman-Ford算法和Floyd-warshall算法都可以计算有负边的图，且判断是否有负圈。
Floyd-Warshall算法：该算法用到了动态规划归约的思想...
分类：
编程语言 时间：
2015-07-22 13:11:43
阅读次数：
195
数据预处理的目标是改善数据挖掘分析工作，减少时间，降低成本和提高质量。数据预处理是选择分析所需要的数据对象和属性以及创建/改变属性的过程。方法主要包括：聚集，抽样，维归约，特征子集选择，特征创建，离散化和二元化，变量变换。聚集（Aggregation）：将两个或多个对象合并成单个对象。比如通过合并每...
分类：
其他好文 时间：
2015-07-18 13:55:14
阅读次数：
131
关联分析、噪声、高维性数据挖掘不是信息检索数据库中知识发现KDD：输入数据->数据预处理(特征选择、维归约、规范化、选择数据子集)->数据挖掘->后处理(模式过滤、可视化、模式表示)->信息数据预处理阶段，涉及融合多个数据源的数据、清洗数据、去噪和重复的观测值..
分类：
其他好文 时间：
2015-07-07 13:16:33
阅读次数：
239
目录1.数据集选取2.数据预处理(1)数据清理(2)数据集成(3)数据归约(4)数据变换和数据离散化3.数据分析算法4.分析总结改进 这学期提前选课学习了DataMining，最近提交了论文已经彻底结了。想来想去还是写点东西记一下，假如以后能用上呢？仅供参考哈参考书:《数据挖掘概念与技术》Jiaw....
分类：
其他好文 时间：
2015-06-29 16:12:22
阅读次数：
188
