标签:
1、HDFS(分布式文件系统体系)
1.1、NameNode:(名称节点)
Hdfs的守护程序
记录文件是如何分割成数据块的,以及这些数据块被存储到了哪些节点上
对内存和I/O进行集中管理
是个单点,发生故障将使集群崩溃
1.2、SecondaryNamenode(辅助名称节点):发生故障进行人工的设置才能实现集群崩溃的问题
监控HDFS状态的辅助后台程序
每个集群都有一个
与NameNode进行通讯,定期保存HDFS元数据快照
与NameNode故障可以作为备用NameNode使用
1.3、DataName(数据节点)
每台服务器都运行一个
负责把HDFS数据块读写到本地文件系统
2、mapreduce
2.1、JobTracker(作业跟踪器)
用于处理作业(用户提交代码)的后台程序
决定由哪些文件参与处理,然后切割task并分配及诶单
监控task,重启失败的task
每个集群只有唯一的JobTracker,位于master节点
2.2、TaskTracker(任务跟踪器)
位于slave及诶单上,与datanode结合
管理各自节点上的task(由Jobtracker分配)
每个节点只有一个tasktracker,但每一个tasktracker可以启动多个jvm,用于并行执行map或reduce任务
与jobtracker交互
master:运行namenode sencondarynode jobtrack的服务器
slave:运行datanode和tasktrack的服务器
MapReduce
标签:
原文地址:http://my.oschina.net/u/1998885/blog/507064