hadoop的源起与体系介绍

标签：hadoop 体系

1.Hadoop的源起——Lucene项目

    Hadoop 是由Doug Cutting用java语言书写的开源软件，其实现与Google类似的全文搜索功能，它提供了两种全文检索引擎的架构，包括完整的查询引擎和索引引擎。

    Hadoop早期版本发布在个人网站和SourceForge，2001年年底成为apache软件基金会jakarta的一个子项目。

    Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

    对于大数量的场景，Lucene面对与Google同样的困难，这些迫使Doug Cutting学习和模仿Google解决这些问题的办法

    Doug Cutting首先开发了一个微缩版项目：Nutch

2.从lucene到nutch，从nutch到hadoop

    2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制，使Nutch性能飙升。

    Yahoo招安Doug Cutting及其项目。

    Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。2006 年 3 月份，Map-Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中，项目名字来源于Doug Cutting儿子的玩具大象。

    Hadoop核心部分：MapReduce（分布式计算程序）和HDFS（分布式文件管理系统）

3.Hadoop的架构

Hadoop主要构成：Namenode、Secondary Namenode、DataNode、JobTracker、TaskTracker

（1）Namenode

 HDFS的守护程序

 纪录文件是如何分割成数据块的，以及这些数据块被存储到哪些节点上

 对内存和I/O进行集中管理

 是个单点，发生故障将使集群崩溃

（2）Secondary Namenode

 监控HDFS状态的辅助后台程序

 每个集群都有一个

 与NameNode进行通讯，定期保存HDFS元数据快照

 当NameNode故障可以作为备用NameNode使用

（3）DataNode

 每台从服务器都运行一个

 负责把HDFS数据块读写到本地文件系统

（4）JobTracker

 用于处理作业（用户提交代码）的后台程序

 决定有哪些文件参与处理，然后切割task并分配节点

 监控task，重启失败的task（于不同的节点）

 每个集群只有唯一一个JobTracker，位于Master节点

（5）TaskTracker

 位于slave节点上，与datanode结合（代码与数据一起的原则）

 管理各自节点上的task（由jobtracker分配）

 每个节点只有一个tasktracker，但一个tasktracker可以启动多个JVM，用于并行执行map或reduce任务

 与jobtracker交互

（6）Master与Slave

  Master：Namenode、Secondary Namenode、Jobtracker。

  Slave：Tasktracker、Datanode

  Master不是唯一的

hadoop的源起与体系介绍

标签：hadoop 体系

原文地址：http://4649608.blog.51cto.com/4639608/1649794