前言 在MapReduce程序中，待处理的数据最开始是放在HDFS上的，这点无异议。 接下来，数据被会被送往一个个Map节点中去，这也无异议。 下面问题来了：数据在被Map节点处理完后，再何去何从呢？ 这就是本文探讨的话题。Shuffle 在Map进行完计算后，将会让数据经过一个名为Shu...
分类：
其他好文 时间：
2014-12-12 22:10:49
阅读次数：
284
MapReduce是一种分布式计算模型。由Map和reduce两个阶段组成，用户只需要实现Map（）和Reduce（）两个函数即可实现分布式计算。这两个函数的形参是key,value对，表示函数的输入信息。执行步骤：1. map任务处理1.1 读取输入文件内容，解析成key、value对。对输入文件...
分类：
其他好文 时间：
2014-12-12 22:02:04
阅读次数：
186
前言 从运行我们的 Map/Reduce 程序，到结果的提交，Hadoop 平台其实做了很多事情。 那么 Hadoop 平台到底做了什么事情，让 Map/Reduce 程序可以如此 "轻易" 地实现分布式运行？Map/Reduce 任务执行总流程 经过之前的学习，我们已经知道一个 Map/Re...
分类：
其他好文 时间：
2014-12-12 20:51:29
阅读次数：
149
Map/Reduce是一个聚合工具。比如SQL和mongodb的group（by），countdistinct等都是聚合命令。
Map/Reduce其实是一个分布式计算的思想的实现的软件框架。就是你遵循这个框架的规范，编写上层代码可以实现你的分布式计算，并能把所有计算结果聚合到一起得到最终一个简单的结果。基于Map/reduce写出来的应用能运行在上千台服务器组成的集群上，并以一种可靠的容错...
分类：
其他好文 时间：
2014-12-11 12:29:12
阅读次数：
271
出处：http://www.csdn.net/article/2011-03-21/294226本文见于MongoDB官方网站，MongoDB与CouchDB很相似，他们都是文档型存储，数据存储格式都是JSON型的，都使用Javascript进行操作，都支持Map/Reduce。但是其实二者有着很多...
分类：
数据库 时间：
2014-12-11 11:59:10
阅读次数：
253
概念
SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件，它可以在map/reduce过程中的input/output
的format时被使用。在map/reduce过程中，map处理文件的临时输出就是使用SequenceFile处理过的。 所以一般的SequenceFile均是在FileSystem中生成，供map调用的原始文件。
...
分类：
其他好文 时间：
2014-12-10 22:48:16
阅读次数：
280
如何将一个反向引用索引的程序的Reducer输出的类型改为IntWritable public static class Reduce extends MapReduceBase ?????? implements Reducer<Text, Text, Text, IntWritable> { ?????? public...
分类：
其他好文 时间：
2014-12-09 14:09:38
阅读次数：
259
Hive是什么
Hive 提供了一个让大家可以使用sql去查询数据的途径。但是最好不要拿Hive进行实时的查询。因为Hive的实现原理是把sql语句转化为多个Map Reduce任务所以Hive非常慢，官方文档说Hive 适用于高延时性的场景而且很费资源。
举个简单的例子
metastore...
分类：
其他好文 时间：
2014-12-08 19:39:48
阅读次数：
368
刚开始阅读《Mongodb入门手册》时候看到mapreduce，当时感觉好难，就直接忽略了。现在重新看到这部分知识的时候，痛下决心学习这块知识。
一、概念说明
MongoDB的MapReduce相当于Mysql中“group by”,在mongodb上使用mapreduce执行并行数据统计很容易；使用MapReduce要实现两个函数： map 和 reduce.
map函数调用emit(k...
分类：
数据库 时间：
2014-12-06 01:28:11
阅读次数：
224
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs...
分类：
其他好文 时间：
2014-12-04 17:57:26
阅读次数：
450
