例如： PS：下面的代码已经测试通过，木有问题。 http://hugh-wangp.iteye.com/blog/1405804 基于HIVE文件格式的map reduce代码编写http://smallboby.iteye.com/blog/1596776 普通文本压缩成RcFile的通用类ht ...
分类：
其他好文 时间：
2016-12-02 11:58:13
阅读次数：
273
ApacheHadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。下面编..
分类：
Web程序 时间：
2016-11-29 00:24:43
阅读次数：
327
一、前言 以下简介摘自官方 Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase， ...
分类：
其他好文 时间：
2016-11-25 20:16:04
阅读次数：
898
4.1 bin/oozie ..... 提交任务 [hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop01:11000/oozie -config examples/apps/map-reduce/job ...
分类：
其他好文 时间：
2016-11-16 07:36:56
阅读次数：
166
以下是一个技术小白根据自己的理解能力在别人整理的基础上进行了一些重点标识和归纳。
一个Hive查询生成多个Map Reduce Job，一个Map Reduce Job又有Map,Spill,S...
分类：
其他好文 时间：
2016-11-13 17:14:45
阅读次数：
247
1.设置文件读入分隔符 默认按行读入; 按句子读入 : conf1.set("textinputformat.record.delimiter", "."); 2.set up 方法 此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。 若是将资源初 ...
分类：
其他好文 时间：
2016-11-12 01:42:30
阅读次数：
184
【原文地址】https://docs.mongodb.com/manual/ 聚合 聚合操作处理数据记录并返回计算后的结果。聚合操作将多个文档分组，并能对已分组的数据执行一系列操作而返回单一结果。MongoDB提供了三种执行聚合的方式：聚合管道，map-reduce方法和单一目的聚合操作。 聚合管道 ...
分类：
数据库 时间：
2016-11-09 22:44:18
阅读次数：
566
MapReduce设计模式(MapReduce Design Pattern) 整个MapReduce作业的阶段主要可以分为以下四种： 1、Input-Map-Reduce-Output 2、Input-Map-Output 3、Input-Multiple Maps-Reduce-Output 4 ...
分类：
其他好文 时间：
2016-11-08 00:49:44
阅读次数：
220
转自：http://www.cnblogs.com/tgzhu/p/5788634.html 在配置hbase集群将 hdfs 挂接到其它镜像盘时，有不少困惑的地方，结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigt ...
分类：
其他好文 时间：
2016-11-05 09:30:36
阅读次数：
370
今天在网上看到一篇帖子，如题： 在ES5中一共有9个Array方法，分别是： 1) indexOf indexOf()方法返回在该数组中第一个找到的元素位置，如果它不存在则返回-1。 via不使用indexOf时原文来自：http://caibaojian.com/5-array-methods.h ...
分类：
编程语言 时间：
2016-11-01 01:25:36
阅读次数：
362
