reduce side join是所有join中用时最长的一种join，但是这种方法能够适用内连接、left外连接、right外连接、full外连接和反连接等所有的join方式。reduce side join不仅可以对小数据进行join，也可以对大数据进行join，但是大数据会占用大量的集群内部网络IO，因为所有数据最终要写入到reduce端进行join。如果要做join的数据量非常大的话，就不得不用reduce join了。...
分类：
其他好文 时间：
2015-06-10 12:26:56
阅读次数：
234
hadoop的压缩解压缩 hadoop对于常见的几种压缩算法对于我们的mapreduce都是内置支持,不需要我们关心.经过map之后,数据会产生输出经过shuffle,这个时候的shuffle过程特别需要消耗网络资源,它传输的数据量越少,对作业的运行时间越有意义,在这种情况下,我们可以对输出进...
分类：
其他好文 时间：
2015-06-10 07:43:27
阅读次数：
203
API里面这样写reduce(initial, sym) → obj reduce(初始值，符号)reduce(sym) → obj reduce(符号)reduce(initial) { |memo, obj| block } → obj reduce(初始值){ |memo ...
分类：
其他好文 时间：
2015-06-09 19:24:15
阅读次数：
148
缩小方法 ECMAScropt还新增了两个缩小数组的方法：reduce()和reduceRight()。这两个方法都会迭代数组的所有项，然后构建一个最终返回的值。其中，reduce()方法从数组的第一项开始，逐个遍历到最后，而reduceRight()则从数组的最后一项开始，向前遍历到第一项。 .....
分类：
其他好文 时间：
2015-06-09 16:29:48
阅读次数：
97
在读hadoop源码时候，发现Partitioner决定map输出将被分到哪个reduce节点。 而Patitioner(默认使用hashpartitioner)是根据每条记录的主键值 取hashcode,同一个主键的记录会被分区到统一reduce节点上，? 但是不同...
分类：
其他好文 时间：
2015-06-09 12:07:38
阅读次数：
80
一、??? 控制hive任务中的map数: 1.??? 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hiv...
分类：
其他好文 时间：
2015-06-08 17:38:16
阅读次数：
2839
dst = distinct data；DISTINCT只能对整个记录（整行）去重，不能在字段级别去重。触发reduce阶段data = load 'data';distinct data;
分类：
其他好文 时间：
2015-06-07 23:25:54
阅读次数：
199
lmt = limit data 10;只获取指定条数的数据，不能保证每次得到的结果一致，先执行order再limit可以保证一致。输入数据全部载入。会触发reduce阶段a = load 'a.txt';b = group a all;c = foreach b generate COUNT(a)...
分类：
其他好文 时间：
2015-06-07 23:17:13
阅读次数：
190
sorted = order data by $0;数值类型按照数值大小比较chararray类型按照字符的字典顺序比较bytearray按照字节的字典顺序比较复杂类型（map、tuple、bag）不能比较null是最小的触发reduce阶段sorted = order data by $0;sor...
分类：
其他好文 时间：
2015-06-07 23:10:54
阅读次数：
188
parallel语句可以附加到Pig Latin中任一个关系操作符后面，然后它会控制reduce阶段的并行，因此只有对与可以触发reduce过程的操作符才有意义。 可以触发reduce过程的操作符有：group、order、distinct、join、cogroup、cross设置paralle.....
分类：
其他好文 时间：
2015-06-07 23:05:43
阅读次数：
411
