Hadoop调优mapred.tasktracker.map.tasks.maximum官方解释：The maximum number of map tasks that will be runsimultaneously by a task tracker.我的理解：一个tasktracker最多...
分类：
其他好文 时间：
2015-04-21 17:50:58
阅读次数：
122
大事件：? Hadoop新一代(2.x)计算平台YARN 一代hadoop存在的问题： 1.Jobtracker单点，容易导致崩溃，节点较多时造成性能瓶颈 2.作业分配基于槽位（slot），分配粒度太粗 3.Jobtracker和Tasktracker多次来回斱能启动作业，导致小...
分类：
其他好文 时间：
2015-04-20 10:57:03
阅读次数：
150
MapReduce概述 MapReduce是一种分布式计算模型,运行时不会在一台机器上运行.hadoop是分布式的,它是运行在很多的TaskTracker之上的. 在我们的TaskTracker上面跑的是Map或者是Reduce Task任务. 通常我们在部署hadoop taskTrac...
分类：
其他好文 时间：
2015-04-14 08:26:08
阅读次数：
146
最近学习了hadoop这个框架，把自己的理解总结如下：
1、hadoop通过一个jobtracker分派任务到一系列tasktracker来运行，tasktracker同时向jobtracker返回任务运行结果。
jobtracker对作业的输入数据进行分片，然后为每个分片创建一个map任务，同时创建一定数量的reduce任务，并指派空闲的tasktracker来执行这些任务。
tasktr...
分类：
其他好文 时间：
2015-04-13 11:00:17
阅读次数：
113
1.首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和reduce任务。2.有两种类型的节点控制着作业执行过程：jobtracker和多个tasktracker..
分类：
其他好文 时间：
2015-03-30 19:01:13
阅读次数：
110
1. 首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和reduce任务。
2. 有两种类型的节点控制着作业执行过程：jobtracker和多个tasktracker。jobtracker通过调度任务在taskt...
分类：
其他好文 时间：
2015-03-30 13:29:57
阅读次数：
179
1、dfs.hosts 记录即将作为datanode加入集群的机器列表 2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表 3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表 4、master 记录运行辅...
分类：
其他好文 时间：
2015-03-21 17:17:02
阅读次数：
247
Hadoop管道是Hadoop MapReduce的C++接口的代称。与流不同，流使用标准输入和输出让map和reduce节点之间相互交流，管道使用sockets作为tasktracker与C++编写的map或者reduce函数的进程之间的通道。JNI未被使用。...
分类：
其他好文 时间：
2015-03-20 10:59:31
阅读次数：
305
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上，运行Da...
分类：
其他好文 时间：
2015-03-04 09:47:45
阅读次数：
142
Hadoop的MapReduce工作原理
MapReduce 角色
?Client ：作业提交发起者。
?JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。
?TaskTracker：保持JobTracker通信，在分配的数据片段上执行MapReduce任务。
提交作业
?在作业提交之前，需要对作业进行配置
?程序代码，主要是...
分类：
其他好文 时间：
2015-02-27 18:29:09
阅读次数：
165
