在上一节我们分析了Child子进程启动，处理Map、Reduce任务的主要过程，但对于一些细节没有分析，这一节主要对MapOutputBuffer这个关键类进行分析。MapOutputBuffer顾名思义就是Map输出结果的一个Buffer，用户在编写map方法的时候有一个参数OutputColle...
分类：
其他好文 时间：
2014-09-04 01:28:16
阅读次数：
416
一、几个可能会用到的属性值 1、mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution 这两个属性可以决定Map任务和Reduce任务是否开启推测式执行策略。推测式执行策略在Hadoop中用.....
分类：
其他好文 时间：
2014-09-03 19:48:07
阅读次数：
358
$scope.totalPrice = function () { return $scope.addcartProduct.reduce(function (money, product) { re...
分类：
编程语言 时间：
2014-09-02 22:47:15
阅读次数：
215
一般我们在mapreduce程序中调用第三方jar包时会出现找不到jar包的问题，检查发现jar包就在相应路径，mapreduce任务就是找不到。仔细想想会发现，这个jar包是放在执行mapreduce主程序机器上的内存中，一般...
分类：
其他好文 时间：
2014-09-02 20:04:05
阅读次数：
181
1. lambdaThe lambda operator or lambda function is a way to create small anonymous functions ,i.e. functions without a name. 可以方便的创造一个函数。比如 def add(.....
分类：
编程语言 时间：
2014-09-02 14:09:04
阅读次数：
182
一个Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，...
分类：
数据库 时间：
2014-08-31 03:58:10
阅读次数：
496
在上一节我们分析了TaskTracker如何对JobTracker分配过来的任务进行初始化，并创建各类JVM启动所需的信息，最终创建JVM的整个过程，本节我们继续来看，JVM启动后，执行的是Child类中的Main方法，这个方法是如何执行的。1，从命令参数中解析相应参数，获取JVMID、建立RPC连...
分类：
其他好文 时间：
2014-08-31 01:36:00
阅读次数：
259
在编写MapReduce程序时，Map和Reduce之间传递的数据需要是ArrayList类型的，在调试运行时遇到了这样的一个错误：java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.Ar...
分类：
其他好文 时间：
2014-08-30 16:25:09
阅读次数：
341
1、执行一个简单的job任务时，map完成100%，reduce一直0.00%，看log日志，一直重复copy,看不出什么。最后等很长时间，报错如下：最后，从网上找到解决方法：就是/etc/sysconfig/network中定义的HOSTNAME=cm134和/etc/hosts指定的不一样，或者是在命令行下#hostname获取的主机名..
分类：
其他好文 时间：
2014-08-30 11:21:29
阅读次数：
239
