上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行 ...
分类：
其他好文 时间：
2018-07-07 13:50:03
阅读次数：
223
组员管理写入分布式：分布在不同的节点。 Hadoop是项目总裁，主要有分布式存储（HDFS）， Master是大脑，slave是执行 DataNode负责存储，TaskTracker负责运行 nameNode是索引，DataNode是存储， 接口 ******* ****************** ...
分类：
其他好文 时间：
2018-06-23 17:11:25
阅读次数：
173
hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信息。 namenode与datanode之间的通信，jobtracker与tasktracker之间的通信，都是通过“心跳”完成的，hadoop的心跳机制的底层 ...
分类：
其他好文 时间：
2018-06-03 12:46:32
阅读次数：
767
YARN产生背景 单点故障 节点压力大 不易扩展 单点故障 节点压力大 MapReduce1.x时的架构如下： 可以看到，1.x时也是Master/Slave这种主从结构，在集群上的表现就是一个JobTracker带多个TaskTracker。 JobTracker：负责资源管理和作业调度TaskT ...
分类：
其他好文 时间：
2018-05-09 19:27:14
阅读次数：
202
HDFS 分布式文件系统
Namenode
Secondarynode
Datanode
MapReduce 分布式计算框架
JobTracker
TaskTracker
Map Task
Reducer Task
Yarn 集群资源管理系统
Resourcemanager
Nodemanager
ApplicationMaste...
分类：
其他好文 时间：
2018-03-06 17:06:54
阅读次数：
175
对MapReduce的理解 客户端启动一个作业 向JobTraker请求一个JobId 将资源文件复制到HDFS上，包括Jar文件，配置文件，输入划分信息等 接收作业后，进入作业队列，根据输入划分信息为每个划分创建一个map任务，并将map任务分配给TaskTracker来执行(运算移动，数据不移动 ...
分类：
其他好文 时间：
2017-12-23 19:02:01
阅读次数：
149
首先运行bin/start-all.sh发现namenode没有启动 只有它们 9428 DataNode 9712 JobTracker 9626 SecondaryNameNode 9983 Jps 9915 TaskTracker 遇到问题要学会翻看日志 cd /usr/local/hadoo ...
分类：
其他好文 时间：
2017-12-20 20:09:57
阅读次数：
228
在Yarn中，JobTracker被分为两部分：ResourceManager（RM）和ApplicationMaster（AM）。 MRv1主要由三部分组成：编程模型(API)、数据处理引擎(MapTask和ReduceTask)和运行环境(JobTracker和TaskTracker);Yarn ...
分类：
其他好文 时间：
2017-11-22 19:57:49
阅读次数：
235
Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker； Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS：HA、NameNode Federation ...
分类：
其他好文 时间：
2017-10-16 23:23:09
阅读次数：
237
hadoop分别从3个角度将主机划分为2种角色 最基本的是Master 和 从HDFS角度，将主机划分为namenode和datanode，在分布式文件系统中，目录管理很重要，管理目录相当于主人 从mapreduce角度，划分为jobtracker和tasktracker（一个job常被划分为多个t ...
分类：
其他好文 时间：
2017-08-29 21:38:45
阅读次数：
162
