1、主要是设置Reduce端输出的value类型直接上代码吧：注释就免了吧，大家应该很熟悉了。package hbase;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf...
分类：
其他好文 时间：
2014-07-25 19:04:02
阅读次数：
271
在MongoDB2.2新出现的。聚集管道式基于数据处理管道概念建模的数据聚集框架。文档进入一个多阶段能将该文档转化为聚集结果的管道。
聚集管道提供了map-reduce方法了替代物，并在很多聚集任务中是首选的方案，因为map-reduce的复杂性可能是你不希望看到的。...
分类：
数据库 时间：
2014-07-25 11:22:31
阅读次数：
306
Map-reduce是一个考虑大型数据得到有用聚集结果的数据处理程式（paradigm）．针对map-reduce操作，MongoDB提供来mapreduce命令．...
分类：
数据库 时间：
2014-07-25 11:09:11
阅读次数：
275
MongoDB提供了大量在结果集上执行特定聚集操作的聚集操作方法。
尽量在使用范围上有限制，特别是和聚集管道、map-reduce相比较，但这些操作，为常规的数据处理提供了直接的语义。...
分类：
其他好文 时间：
2014-07-25 11:04:11
阅读次数：
135
1.计算阶乘 通常你是这样写： def myfunc(n): i = 1 if n>1: i = n return n*myfunc(n-1) return n 当然也可以这么写:reduce (lambda x,y:x*y,rang...
分类：
其他好文 时间：
2014-07-24 22:46:43
阅读次数：
148
mapreduce的处理过程分为2个阶段，map阶段，和reduce阶段。在要求统计指定文件中的所有单词的出现次数时，
map阶段把每个关键词写到一行上以逗号进行分隔，并初始化数量为1（相同的单词hadoop中的map会自动放到一行中）
reduce阶段是把每个单词出现的频率统计出来重新写回去。
如代码：
package com.clq.hadoop2;
import org.apa...
分类：
其他好文 时间：
2014-07-23 17:16:02
阅读次数：
199
hive是什么？ 白话一点再加不严格一点，hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。 于是，hbase是什么？ 同样白话一点加不严格一点，hbase可以认为是...
分类：
其他好文 时间：
2014-07-23 13:57:36
阅读次数：
268
shuffle是处在map和reduce之间的过程。我们看一下这个过程都有哪些步骤，对这个问题了解的并不深，可能有错误，忘指正
1. map
map输出key,value，对应代码里的context.write(key, value);，这个步骤是将key，value写到内存buffer里了，这个内存的默认大小是100M
2. sort
当数据大小超过buffer容量的80%（默认）时，会...
分类：
其他好文 时间：
2014-07-22 22:39:53
阅读次数：
295
关键字情形后果join其中一个表较小，但key集中分发到某一个或几个reduce上的数据远高于平均值大表与大表关联，但是分桶的判断字段0值或空值过多这些空值都由一个reduce处理，非常慢group byGroup by维度过小，某值的数量过多处理某值的reduce非常耗时count distinc...
分类：
其他好文 时间：
2014-07-22 08:07:33
阅读次数：
180
Description
The army of United Nations launched a new wave of air strikes on terroristforces. The objective of the mission is to reduce enemy's logistical mobility. Each airstrike will destroy a pa...
分类：
其他好文 时间：
2014-07-20 23:04:26
阅读次数：
332
