在MRv1中，对象之间的作用关系是基于函数调用实现的，当一个对象向另外一个对象传递消息时，会直接采用函数调用的方式，并且这个过程是串行的。比如，当TaskTracker需要执行一个Task的时候，将首先下载Task依赖的文件(JAR包，二进制文件等，字典文件等)，然后执行Task。在整个过程中，下载依赖文件是阻塞式的，也就是说，前一个任务未完成文件下载之前，后一个新任务将一直处于等待状态，只有在下...
分类：
移动开发 时间：
2015-02-03 07:05:11
阅读次数：
191
安装好Hadoop后，使用jps会出现一下几个进程
master中有：
namenode
secondaryNameNode
jobTracker
slaves中有
tasktracker
datanode
1. NameNode
它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。
2. Second...
分类：
系统相关 时间：
2015-01-10 13:57:03
阅读次数：
232
本例使用的环境：Windows+VirtualBox. VirtualBox下安装三个ubuntu系统（可以安装一台后，使用VirtualBox自带的工具VBoxManage.exe来进行复制），三台机器分别命名为h1.h2,h3。其中，h1作为master，运行namenode和jobtracker，h2和h3作为slaves，运行datanode和tasktracker。
1.在每个...
分类：
其他好文 时间：
2014-12-16 11:50:12
阅读次数：
202
前言 对于Hadoop集群来说，节点损坏是非常常见的现象。 而Hadoop一个很大的特点就是某个节点的损坏，不会影响到整个分布式任务的运行。 下面就来分析Hadoop平台是如何做到的。硬件故障 硬件故障可以分为两种 - JobTracker节点损坏和TaskTracker节点损坏。 1.J...
分类：
其他好文 时间：
2014-12-12 23:30:07
阅读次数：
276
MapReduce 角色?Client ：作业提交发起者。?JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。?TaskTracker：保持JobTracker通信，在分配的数据片段上执行MapReduce任务。提交作业?在作业提交之前，需要对作业进行配置?程...
分类：
其他好文 时间：
2014-12-05 10:37:29
阅读次数：
562
第一部分：什么是RPC RPC(Remote Procedure Call Protocol)–远程过程协议调用。通过RPC我们可以从网络上的计算机请求服务，而不需要了解底层网络协议。Hadoop底层的交互都是通过rpc进行的。例如：datanode和namenode、tasktracker和...
分类：
其他好文 时间：
2014-12-03 12:03:43
阅读次数：
204
一、先理解MapReduce作业组成
一个完整的MapReduce作业称作job，它包括三部分：
输入数据MapReduce程序配置信息
Hadoop工作时会将job分成若干个task：map任务和reduce任务
有两类节点控制作业执行的过程：JobTracker和TaskTracker
JobTra...
分类：
其他好文 时间：
2014-12-01 20:55:53
阅读次数：
280
hadoop1.0 TaskTracker因为分布式缓存导致内存泄露的一次问题排查...
分类：
其他好文 时间：
2014-11-29 18:59:28
阅读次数：
131
上篇说了block在DataNode配置有多个${dfs.data.dir}时的存储策略，本文主要介绍TaskTracker在配置有多个${mapred.local.dir}时的选择策略。1 mapred-site.xml2 3 mapred.local.dir4 /mnt/locald...
分类：
其他好文 时间：
2014-11-26 22:37:03
阅读次数：
293
上次分析完JobTracker通过TaskScheduler如何把作业分配给TaskTracker，这次把目光 移动到TaskTracker上面。TaskTracker在这里其实是一个slave的从属关系。我在后面的分析会通过TaskTracker的执行流程，主要讲他的2个过程的分析1.作业启动执行2.与JobTracker的heatbeat的过程。2个过程都是非常的典型。
与...
分类：
其他好文 时间：
2014-11-25 10:55:32
阅读次数：
321
