InputFormat这个类是用来处理Map的输入数据的，任务开始时，InputFormat先将HDFS里所有输入文件里的数据分割成逻辑上的InputSpilt对象
这里的split是HDFS中block的部分或者一整块或几个快中的数据的逻辑分割，一个split对应于一个Map，所以Map的数量是由split的数量决定的。
那么怎样去确定InputSpilt的个数呢，下面列出于split个...
分类：
其他好文 时间：
2014-07-25 11:03:11
阅读次数：
204
聚合引言
聚集操作就是出来数据记录并返回计算结果的操作。MongoDB提供了丰富的聚集操作，能够检测和执行数据集上的计算。运行在mongod上的数据聚集简化了代码和资源限制。
像查询一样，在Mongo的聚合操作使用collections作为输入，并返回一个或多个document作为输出。
聚合模式
聚合管道
MongoDB2.2引入了一个新的聚合框架：聚合管道，这是基于数据处...
分类：
数据库 时间：
2014-07-24 23:30:33
阅读次数：
431
Maven的聚合其实就是把各个项目拷贝到一个项目里，便于统一构建（这种是父子目录结构构件，个人喜欢这种，平行结构不喜欢），实现聚合的方式为：-- 新建一个普通的Maven项目，只保留pom文件，其他的目录结构都删除-- 配置新建项目的pom文件： 1 2 4.0.0 3 XXXX ...
分类：
其他好文 时间：
2014-07-24 22:21:12
阅读次数：
224
聚合体，简称聚合，其中包括：实体对象（聚合根、聚合项）、值对象。聚合内部：1、聚合根是聚合项的一个特例。实体对象都可以作为聚合项。2、聚合必须包含唯一的聚合根，以该聚合根代表一个聚合。3、聚合中可以加入0个或多个聚合项。4、值对象通常是聚合项的组成部分。5、聚合根统驭完成聚合的所有操作。6、聚合根持...
分类：
其他好文 时间：
2014-07-24 21:31:52
阅读次数：
214
Hadoop MapReduce思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数...
分类：
其他好文 时间：
2014-07-24 17:00:47
阅读次数：
263
《大 数据技术丛书：Hadoop应用开发技术详解》共12章。第1～2章详细地介绍了Hadoop的生态系统、关键技术以及安装和配置；第3章是 MapReduce的使用入门，让读者了解整个开发过程；第4～5章详细讲解了分布式文件系统HDFS和Hadoop的文件I/O；第6章分析了 MapReduce的工...
分类：
其他好文 时间：
2014-07-24 11:25:42
阅读次数：
337
mapreduce的处理过程分为2个阶段，map阶段，和reduce阶段。在要求统计指定文件中的所有单词的出现次数时，
map阶段把每个关键词写到一行上以逗号进行分隔，并初始化数量为1（相同的单词hadoop中的map会自动放到一行中）
reduce阶段是把每个单词出现的频率统计出来重新写回去。
如代码：
package com.clq.hadoop2;
import org.apa...
分类：
其他好文 时间：
2014-07-23 17:16:02
阅读次数：
199
package cn.lmj.mapreduce;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritabl...
分类：
其他好文 时间：
2014-07-22 22:40:15
阅读次数：
170
进到8088页面后，怎么看不到mapreudce的执行状态，有哪里需要配置的解决办法：在$HADOOP_HOME/conf/mapred-site.xml 在原来的配置文件基础之上添加： mapreduce.framework.name yarn mapre...
分类：
其他好文 时间：
2014-07-22 22:36:15
阅读次数：
211
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致，一旦主NameNode挂..
分类：
其他好文 时间：
2014-07-22 14:55:35
阅读次数：
365
