为什么需要在Mapper端进行归约处理？ 为什么可以在Mapper端进行归约处理？ 既然在Mapper端可以进行归约处理，为什么在Reducer端还要处理？ 上面三个问题，可以查看帖子 hadoop中，combine、partition、shuffle作用分别是什么？ ...
分类：
其他好文 时间：
2016-07-11 17:00:27
阅读次数：
174
MapReduce是一种函数式编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 M ...
分类：
编程语言 时间：
2016-06-13 13:17:09
阅读次数：
228
1.原始数据存在的几个问题：不一致；重复；含噪声；维度高。 2.数据预处理包含数据清洗、数据集成、数据变换和数据归约几种方法。 3.数据挖掘中使用的数据的原则 应该是从原始数据中选取合适的属性作为数据挖掘属性，这个选取过程应参考的原则是：尽可能赋予属性名和属性值明确的含义；统一多数据源的属性值编码； ...
分类：
其他好文 时间：
2016-06-04 17:58:39
阅读次数：
1231
下面来具体看一下这个算法(这边可能会有点跳跃, 但是仔细看的话还是能看出来之间的联系的) : 上面已经说了, 这个算法的核心思想就是移进和归约, 移进可以看出是图中自动机的状态转化过程, 但这里的转化并不需要弹出任何字符, 只需要讲状态与字符可以得到的新状态压入即可, 每一个状态都是一个推导式, 之 ...
分类：
其他好文 时间：
2016-05-22 23:22:07
阅读次数：
462
1、Task运行过程概述
在MapReduce计算框架中，一个应用程序被划分成Map和Reduce两个计算阶段，它们分别由一个或者多个Map Task和Reduce Task组成。其中，每个Map Task处理输入数据集合中的一片数据（InputSplit），并将产生的若干个数据片段写到本地磁盘上，而Reduce Task则从每个Map Task上远程拷贝相应的数据片段，经分组聚集和归约后，将结果...
分类：
其他好文 时间：
2016-05-18 19:21:14
阅读次数：
233
问题描述如下： 有k个整数数组，各包含k个元素。在每个数组中取一个元素加起来，可以得到k^k个和。求这些和中最小的k个值（重复计算的算多次）。 如果同时考虑这k个数组的取值情况，其复杂程度不言而喻，并且没有特别明确的递归约束关系，处理起来很棘手。 注意到在k^k个和中，我们只关心最小的k个和，题目暗 ...
分类：
编程语言 时间：
2016-04-25 15:07:48
阅读次数：
204
什么是MapReduce？ MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运 ...
分类：
其他好文 时间：
2016-04-12 00:00:38
阅读次数：
476
3.1 数据预处理 数据质量的三个要素：准确性、完整性和一致性。 3.1.2 数据预处理的主要任务 数据清理：填写缺失的值，光滑噪声数据，识别或删除离群点，并解决不一致性来”清理“数据。 数据集成： 数据归约: 3.2 数据清理 3.2.1 缺失值 1.忽略元组 2.人工填写缺失值 3.使用一个全局
分类：
其他好文 时间：
2016-02-14 22:10:12
阅读次数：
288
方法：l 数据清理(Clearing)l 数据集成(Integration)l 数据变换(Transformation)l 数据归约/降维(Reduction)l 数据增维(expand)l 特征提取(generate)(1)数据清理 -- 空缺值处理 a）使用最可能的值填充空缺值，比如可以用最小二...
分类：
其他好文 时间：
2015-12-29 12:30:45
阅读次数：
141
《算法导论》中有一节讲的是“（比较）排序算法时间的下界”，本文将论述同一个问题，思路略有差异。本文将从信息熵的角度论述排序算法时间复杂度的下界。若本文论述过程中有错误或是不足，还请各位指正。1. 问题归约 排序，涉及到被排序的序列和排序的方法。（比较）排序算法时间的下界对被排序的序列和排序方法做了以...
分类：
编程语言 时间：
2015-12-22 19:32:03
阅读次数：
219
