前言 本文讲解Hadoop中的编程及计算模型MapReduce，并将给出在MapReduce模型下编程的基本套路。模型架构 在Hadoop中，用于执行计算任务(MapReduce任务)的机器有两个角色：一个是JobTracker，一个是TaskTracker，前者用于管理和调度工作，后者用于执行.....
分类：
其他好文 时间：
2014-10-29 18:42:56
阅读次数：
256
Hadoop集群启动之后,用JPS命令查看进程发现datanode节点上,只有TaskTracker进程.如下图所示master的进程:两个slave的节点进程发现salve节点上竟然没有datanode进程.查看了日志,发现有这样一句话:这句话的意思是:datanode上的data目录权限是765...
分类：
其他好文 时间：
2014-10-28 02:02:29
阅读次数：
634
接着上篇来说，TaskTracker端的transmitHeartBeat()方法通过RPC调用JobTracker端的heartbeat()方法来接收心跳并返回心跳应答。还是先看看这张图，对它的大概流程有个了解。 下面来一段一段的分析该方法。 1 public synchronized He...
分类：
其他好文 时间：
2014-10-27 22:30:57
阅读次数：
360
与JobTracker一样，TaskTracker也有main()方法，然后以线程的方式启动(继承了Runnable接口)。main()方法中主要包含两步：一是创建一个TaskTracker对象；二是启动TaskTracker线程。 1 public static void main(Strin.....
分类：
其他好文 时间：
2014-10-15 20:34:21
阅读次数：
301
1、单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点 安装与配置步骤： 下载并解压Hadoo...
分类：
其他好文 时间：
2014-10-09 02:49:17
阅读次数：
246
一、配置1. 在masters文件中添加 Secondary节点的主机名。*注：masters文件用于指定secondary的主机而不是namenode，slaves用于指定datanode和tasktracker，namenode由core-site.xml fs.default.name指定，j...
分类：
其他好文 时间：
2014-09-22 20:10:03
阅读次数：
197
hadoop 错误处理机制1.硬件故障 硬件故障是指jobtracker故障或TaskTracker 故障 jobtracker是单点,若发生故障,目前hadoop 还无法处理,唯有选择最牢靠的硬件作为jobtracker jobtracker通过心跳(周期1分钟) 信号来了解TaskTrac...
分类：
其他好文 时间：
2014-09-11 10:54:11
阅读次数：
153
在上一节我们分析了TaskTracker如何对JobTracker分配过来的任务进行初始化，并创建各类JVM启动所需的信息，最终创建JVM的整个过程，本节我们继续来看，JVM启动后，执行的是Child类中的Main方法，这个方法是如何执行的。1，从命令参数中解析相应参数，获取JVMID、建立RPC连...
分类：
其他好文 时间：
2014-08-31 01:36:00
阅读次数：
259
在上一节分析了TaskTracker和JobTracker之间通过周期的心跳消息获取任务分配结果的过程。中间留了一个问题，就是任务到底是怎么分配的。任务的分配自然是由JobTracker做出来的，具体来说，存在一个抽象类：TaskScheduler，主要负责分配任务，继承该类的有几个类：Capaci...
分类：
其他好文 时间：
2014-08-30 05:36:19
阅读次数：
359
初次在VM上配置Hadoop，开了三台虚拟机，一个作namenode,jobtracker另外两台机子作datanode,tasktracker配置好后，启动集群通过http://localhost:50700查看cluster状况Hadoop配置datanode无法连接到master发现没有dat...
分类：
其他好文 时间：
2014-08-29 15:54:18
阅读次数：
201
