本篇主要介绍如何使用MapReduce执行数据排序，相对于传统排序，MapReduce面临哪些问题又有哪些优势，详细了解Map阶段和Reduce阶段如何衔接，Partition类如何使用；MapReduce如何进行单表连接等问题；通过打印程序执行过程信息，一目了然了解MapReduce执行的每一步。
分类：
编程语言 时间：
2015-01-28 23:48:56
阅读次数：
355
.tips{position:relative;border:1px solid#aaa;}.tips:before{content: ""; position: absolute; border-style: solid; /* reduce the damage in FF3....
分类：
Web程序 时间：
2015-01-28 17:25:48
阅读次数：
169
首先介绍哈方法/** * 利用java驱动自带函数分组查询 *@param key 用来分组文档的字段 【group by key】 *@param cond 执行过滤的条件 【where name=? and age=?】 *@param initial reduce中使用变量的初始化 * @pa...
分类：
数据库 时间：
2015-01-28 15:56:16
阅读次数：
184
我们都知道Hadoop主要用于离线计算，它由两部分构成：HDFS和MapReduce，其中HDFS负责文件的存储，MapReduce负责对数据的计算，在执行MapReduce程序的时候。需要制定输入的文件uri、输出的文件uri。一般情况下这两个地址都是存放在HDFS上的。MapReduce计算过程又分成两个阶段：map阶段和reduce阶段，其中map阶段是负责将输入文件进行划分，划分的结果是一...
分类：
其他好文 时间：
2015-01-26 19:20:09
阅读次数：
179
问题1：reduce task数目不合适 解决方案： 需要根据实际情况调整默认配置，调整方式是修改参数spark.default.parallelism。通常的，reduce数目设置为core数目的2-3倍。数量太大，造成很多小任务，增加启动任务的开...
分类：
其他好文 时间：
2015-01-26 13:50:06
阅读次数：
222
下面看下union的使用：
使用collect操作查看一下执行结果：
再看下groupByKey的使用：
执行结果：
join操作就是一个笛卡尔积操作的过程，如下示例：
对rdd3和rdd4执行join操作：
使用collect查看执行结果：
可以看出join操作完全就是一个笛卡尔积的操作...
Transform/Map-Reduce SyntaxSQL Standard Based Authorization Disallows TRANSFORMTRANSFORM ExamplesSchema-less Map-reduce ScriptsTyping the output of TR...
分类：
其他好文 时间：
2015-01-26 11:36:05
阅读次数：
384
http://meyerweb.com/eric/tools/css/reset/The goal of a reset stylesheet is to reduce browser inconsistencies in things like default line heights, marg...
分类：
Web程序 时间：
2015-01-25 19:32:37
阅读次数：
201
一. 配置hadoop插件
1. 安装插件
将hadoop-eclipse-plugin-1.1.2.jar复制到eclipse/plugins目录下，重启eclipse
2. 打开MapReduce视图
window -> open perspective -> other 选择Map/Reduce 图标是一个蓝色的象
3. 添加一个MapReduce环境
在eclipse下端，控制...
MongDB的MapReduce相当于MySQL中的“group by”，所以在MongoDB上使用Map/Reduce进行并行“统计”很容易。 使用MapReduce要实现两个函数Map函数和Reduce函数，Map函数调用emit(key,value),遍历collection中的所有记录，.....
分类：
数据库 时间：
2015-01-24 11:32:46
阅读次数：
170
