首页 > 其他好文 > 详细

Why Hadoop2

时间：2014-07-19 12:01:58 阅读：179 评论：0 收藏：0 [点我收藏+]

标签：style blog http color 使用数据

自从Hadoop2出现之后，其迅速取代了Hadoop1的地位，并丰富了Hadoop的应用场景。如果现在有公司使用Hadoop的话，往往直接采用Hadoop2了。

Hadoop2能被如此广泛的使用，肯定有其自身的优势，本文将对其进行梳理

支持更多的计算框架

Hadoop1采用的计算框架是MapReduce，MapReduce是批处理计算框架，适合做海量数据的离线处理。为了让Hadoop能支持到更多的应用场合，更多的计算框架，YARN应运而生，它极大的拓展了Hadoop的使用场合。

采用YARN框架后，会带来另外一个好处。为了让集群能满足企业的需求，企业往往将不同的计算框架部署到不同的集群上，在采用YARN后，企业可以将这些计算框架部署在一个集群上，极大的提升了集群的利用率，并且减少了运维成本

bubuko.com,布布扣

bubuko.com,布布扣

集群拓展性更强

Hadoop1只能支持数千台计算机的容量，这是因为NameNode和JobTracker的内存容量有限导致的。在HDFS2采用Federation，Hadoop将jobtracker的逻辑拆分后，Hadoop集群的拓展性得到了质的提升。

bubuko.com,布布扣

集群资源利用率更高

下面两张图是twitter分别采用Hadoop1和Hadoop2时，集群资源利用率的对比

bubuko.com,布布扣

bubuko.com,布布扣

HDFS和RM单点故障的解决

在Hadoop1上，HDFS和JobTracker是存在单点故障的，主节点崩溃后，集群也随之崩溃，而在Hadoop2上，当采用HA机制后，单点故障解决了。

bubuko.com,布布扣

bubuko.com,布布扣

Why Hadoop2,布布扣,bubuko.com

标签：style blog http color 使用数据

原文地址：http://blog.csdn.net/jiewuyou/article/details/37954797

踩

(0)

赞

(0)

举报

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行

更多

友情链接

兰亭集智国之画百度统计站长统计阿里云 chrome插件新版天听网

关于我们 - 联系我们 - 留言反馈

© 2014 mamicode.com 版权所有联系我们:gaon5@hotmail.com

迷上了代码！