码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop2.0产生背景

时间:2014-08-02 15:27:03      阅读:215      评论:0      收藏:0      [点我收藏+]

标签:style   color   使用   strong   数据   问题   ar   size   

Hadoop与Hadoop生态系统的区别

Hadoop:是一个适合大数据分布式存储分布式计算平台,在Hadoop1.x中对应于HDFS和MapReduce;

Hadoop生态系统:是一个很庞大的概念,Hadoop是其中最重要最基础的一个部分;生态系统中的每个子系统只负责解决某一个特定的问题域(甚至可能更窄),不是一个全能系统而是小而精的多个小系统;

 

Hadoop1.x中存在的问题

Hadoop1.x中HDFS和MapReduce在高可用、扩展性等方面均存在不同程度上的问题:

HDFS存在的问题:

  1、NameNode存在单点故障,影响生产环境真正使用;

  2、NameNode压力大,且内存受限,影响系统扩展性;

    压力大:因为只有一个NameNode,所有的请求都要经过它;

    内存受限:因为只有一个NameNode,所有元数据信息都要保存在NameNode上;

MapReduce存在的问题:

  1、JobTracker单点故障

  2、JobTracker访问压力大,影响系统扩展性;

  3、难以支持除MapReduce之外的计算框架(如:Spark、Storm等);

 

基于Hadoop1.x中存在的如上问题,催生了Hadoop2的产生;

 

Hadoop2.0产生背景,布布扣,bubuko.com

Hadoop2.0产生背景

标签:style   color   使用   strong   数据   问题   ar   size   

原文地址:http://www.cnblogs.com/luogankun/p/3886965.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!