Tracker是跟踪者，跟踪器。JobTracker是项目经理。在hadoop2*的0.23版本之后，改叫RM了。ResourceManager。TaskTracker是小组长。它手下，还有具体搬砖的。在hadoop2*的0.23版本之后，改叫NM了。NodeManager。 ？？？ 其实，不管，是 ...
分类：
其他好文 时间：
2016-09-03 16:35:10
阅读次数：
542
一、Hadoop的3中运行模式 1.1、单机模式。安装简单，几乎不用作任何配置，但仅限于调试用途； 1.2、伪分布式模式。在单节点上同时启动namenode、secondary namenode、datanode、JobTracker、TaskTracker 5个进程，模拟分布式运行的各个节点。 1 ...
分类：
其他好文 时间：
2016-08-20 00:07:30
阅读次数：
142
hadoop的简单安装部署过程为了做些实验，所以在自己笔记本电脑上装了个虚拟机，系统为CentOS6.2，JDK1.7，hadoop-1.0.1为了简单起见，部署伪分布式，即仅有一个节点，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。部署总体说..
分类：
其他好文 时间：
2016-07-20 13:45:04
阅读次数：
183
我执行下面步骤： 1、 动态增加DataNode节点和TaskTracker节点 以host226为例 在host226上执行： 指定主机名 vi /etc/hostname 指定主机名到IP地址的映射 vi /etc/hosts （hosts就是对datanode 和trac） 增加用户和组 ad ...
分类：
其他好文 时间：
2016-07-14 02:44:13
阅读次数：
171
转载自 http://weilaiyxj.iteye.com/blog/913166 本文约定： DN: DataNode TT: TaskTracker NN: NameNode SNN: Secondry NameNode JT: JobTracker 本文介绍Hadoop各节点和Client之 ...
分类：
其他好文 时间：
2016-07-09 14:50:23
阅读次数：
218
一、总体介绍：HadoopMapReduce是一个软件框架，可以使用可靠、容错的方式开发在多集群节点（可以是上千个节点）上并行处理大批量数据（TB级）的程序应用。MapReduceFramework由一个masterJobTracker和多个slaveTaskTracker（每个集群节点是一个TaskTracker）组成。mastr负责在..
分类：
其他好文 时间：
2016-06-16 18:18:43
阅读次数：
120
在之前的博文有对分布式模式做负载均衡设置，那么这次我们就来说明一下如果动态增加DataNode结点和TaskTracker结点。1. 在host1上增加host4使用如下命令：vi conf/slaves如下：
2. 将host1上的公钥加入到host4中使用如下命令：ssh-copy-id -i .ssh/id_rsa.pub hadoop@host4如下：
将host1的公钥添加到h...
分类：
其他好文 时间：
2016-06-12 02:26:18
阅读次数：
154
在上一篇博文我们有说明如何动态增加一个DataNode结点和TaskTracker结点，本次就来说明一下如何限制hadoop结点的连接。1. 配置hdfs-site.xml文件新增如下内容：
dfs.hosts
/home/hadoop/workspace/hadoop-1.2.1/conf/include
</pr...
分类：
其他好文 时间：
2016-06-12 02:25:42
阅读次数：
161
在之前的博文有说明动态添加一个结点，本次就说明如何动态删除一个结点。在上一篇博文有讲解如何限制一个结点的连接，要动态删除一个结点，可以在这个基础之上进行配置。1. 在host1上配置dfs.hosts.exclude在dfs.hosts.exclude指定的文件中添加host4：
再执行如下命令：hadoop dfsadmin -refreshNodes然后用如下命令进行查看：hadoop...
分类：
其他好文 时间：
2016-06-12 02:25:15
阅读次数：
213
上篇文章Task运行过程1讲到脚本会运行org.apache.hadoop.mapred.Child类。。。
Child类包含一个入口主方法main，在运行的时候需要传递对应的参数，来运行MapTask和ReduceTask，通过命令行输入如下5个参数：
host：表示TaskTracker节点的主机名称
port：表示TaskTracker节点RPc端口号
taskID：表示启动的Task...
分类：
其他好文 时间：
2016-05-18 19:25:34
阅读次数：
243
