并行处理：可以在很多语句中指定reducer的数量group,join,cogroup,cross,distinct,order(复习：reduce的任务个数设置为稍小于集群中的reduce任务槽数)参数替换：在pig语句中使用$加变量名的方式使用外部定义的变量值，在运行时可以通过"-paraminput=”设置变量的值，或者通过"-..
分类：
其他好文 时间：
2015-05-26 19:07:21
阅读次数：
142
并行处理： 可以在很多语句中指定reducer的数量
group, join, cogroup, cross, distinct, order
(复习：reduce的任务个数设置为稍小于集群中的reduce任务槽数)
参数替换：在pig语句中使用$加变量名的方式使用外部定义的变量值，在运行时可以通过"-param input=”设置变量的值，
或者通过"-param_f...
分类：
其他好文 时间：
2015-05-26 18:56:02
阅读次数：
123
这几天阅读《hadoop实战》，初步了解了一下hadoop的核心思想，简要的比较如下：
1. hadoop是一个开源框架，可编写和运行分布式应用处理大数据，具有方便、简单、健壮性、可扩展性等优点
2. MapReduce程序的执行分为两个阶段，为mapping和reducing。每个阶段均定义为数据处理函数，分别被称为mapper和reducer。在mapping阶段，MapReduce获...
分类：
其他好文 时间：
2015-05-25 11:30:41
阅读次数：
190
一、什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无..
分类：
其他好文 时间：
2015-05-11 18:20:38
阅读次数：
171
一、 什么是Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
...
分类：
其他好文 时间：
2015-05-11 14:46:41
阅读次数：
115
在hadoop的源码中，基类Mapper类和Reducer类中都是只包含四个方法：setup方法，cleanup方法，run方法，map方法。如下所示：其方法的调用方式是在run方法中，如下所示： 可以看出，在run方法中调用了上面的三个方法：setup方法，map方法，cleanup方法。其...
分类：
移动开发 时间：
2015-05-07 12:18:51
阅读次数：
178
1. Hive自己如何确定reduce数： reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定： hive.exec.reducers.bytes.per.reducer（每个reduce任务处...
分类：
其他好文 时间：
2015-05-06 18:27:44
阅读次数：
210
1.Hive自己如何确定reduce数：reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）hive.exec.reducers.max（每个任务最..
分类：
其他好文 时间：
2015-05-06 18:18:25
阅读次数：
136
1. Hive自己如何确定reduce数：
reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：
hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）
hive.exec.reducers.max（每个任务最大的reduce数，...
分类：
其他好文 时间：
2015-05-06 17:58:06
阅读次数：
129
一. MapReduce 作业处理过程概述 当用户在使用Hadoop 的 MapReduce 计算模型处理问题的时候，只需要设计好Mapper 和Reducer 处理函数，还有可能包括Combiner 函数。之后，新建一个Job 对象，并对Job 的运行环境进行一些配置，最后调用Job 的waitF...
分类：
其他好文 时间：
2015-05-06 17:25:42
阅读次数：
131
