码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop hdfs&mapreduce核心概念

时间:2015-09-16 23:46:51      阅读:575      评论:0      收藏:0      [点我收藏+]

标签:

1、HDFS(分布式文件系统体系)

1.1、NameNode:(名称节点)

        Hdfs的守护程序

        记录文件是如何分割成数据块的,以及这些数据块被存储到了哪些节点上

        对内存和I/O进行集中管理

        是个单点,发生故障将使集群崩溃

1.2、SecondaryNamenode(辅助名称节点):发生故障进行人工的设置才能实现集群崩溃的问题

        监控HDFS状态的辅助后台程序

        每个集群都有一个

        与NameNode进行通讯,定期保存HDFS元数据快照

        与NameNode故障可以作为备用NameNode使用

1.3、DataName(数据节点)

        每台服务器都运行一个

        负责把HDFS数据块读写到本地文件系统

2、mapreduce

2.1、JobTracker(作业跟踪器)

        用于处理作业(用户提交代码)的后台程序

        决定由哪些文件参与处理,然后切割task并分配及诶单

        监控task,重启失败的task

         每个集群只有唯一的JobTracker,位于master节点

2.2、TaskTracker(任务跟踪器)

        位于slave及诶单上,与datanode结合

        管理各自节点上的task(由Jobtracker分配)

        每个节点只有一个tasktracker,但每一个tasktracker可以启动多个jvm,用于并行执行map或reduce任务

        与jobtracker交互


master:运行namenode sencondarynode jobtrack的服务器

slave:运行datanode和tasktrack的服务器

    



        

MapReduce

Hadoop hdfs&mapreduce核心概念

标签:

原文地址:http://my.oschina.net/u/1998885/blog/507064

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!