引言随着企业数据化和Hadoop的应用越加广泛，hadoop1.x的框架设计越来越无法满足人们对需求，Apache一直在对Hadoop1.x进行修改，最后推出了新一代的Hadoop2.x。从业界使用分布式系统的变化趋势和hadoop框架的长远发展来看，MapReduce的JobTracker/TaskTracker机制需要大规模的..
分类：
其他好文 时间：
2016-04-21 11:55:33
阅读次数：
242
1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker 1.2 各节点重新产生ssh加密文件 1.3 ...
分类：
其他好文 时间：
2016-04-07 20:25:22
阅读次数：
131
RPC简介：
RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。
Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode之间，Jobtracker与Tasktracker之间等。
RPC协议假定某些传输协议的存在，如...
分类：
其他好文 时间：
2016-03-24 14:49:05
阅读次数：
282
问题导读：1、Hadoop出现问题时，该如何入手查看问题？2、datanode无法启动，我们该怎么解决？3、如何动态加入DataNode或TaskTracker？一、问题描述当我多次格式化文件系统时，如root@localhost:/usr/local/hadoop-1.0.2# bin/hadoo...
分类：
其他好文 时间：
2015-12-16 22:47:24
阅读次数：
385
可以使用setup进行去读，吧数据读取放到一个容器中，在map段去读的时候，可以根据ID就找出数据，然后再转化回来map端的join适用场景，小表可以全部读取放到内存中，两个在内存中装不下的大表，不适合Map端的join操作在一个TaskTracker中可以运行多个map任务。每个map任务是一个j...
分类：
其他好文 时间：
2015-12-15 12:26:59
阅读次数：
258
经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。环境：1NameNode 2DataNode三台机器，Hadoop为1.2.1解决办法：1.先停止Hadoop，bin/stop-all.sh2.三台机器都把hadoop1....
分类：
系统相关 时间：
2015-12-14 21:01:11
阅读次数：
237
转自：http://blog.csdn.net/androidlushangderen/article/details/41477061上次分析完JobTracker通过TaskScheduler如何把作业分配给TaskTracker，这次把目光 移动到TaskTracker上面。TaskTrack...
分类：
其他好文 时间：
2015-12-14 06:43:21
阅读次数：
219
mapreduce运行机制mapreduce作业执行涉及4个独立的实体：1.客户端（client）：编写mapreduce程序，配置作业，提交作业，这就是程序员完成的工作；2.JobTracker：初始化作业，分配作业，与TaskTracker通信，协调整个作业的执行；3.TaskTracker：保持与JobTracker的通信，在分配..
分类：
其他好文 时间：
2015-12-09 07:17:37
阅读次数：
183
包含四个独立的实体：· Client Node客户端：编写MapReduce代码，配置作业，提交MapReduce作业。· JobTracker：初始化作业，分配作业，与TaskTracker通信，协调整个作业的运行。jobtracker是一个Java应用程序，它的主类是JobTracker。· T...
分类：
其他好文 时间：
2015-12-05 12:47:11
阅读次数：
230
第一部分：MapReduce工作原理MapReduce 角色?Client ：作业提交发起者。?JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。?TaskTracker：通过心跳heartbeat保持JobTracker通信，在分配的数据片段上执行MapRe...
分类：
其他好文 时间：
2015-11-01 11:24:42
阅读次数：
254
