标签：
hadoop2对比hadoop1
1、体系结构
HDFS+MapReduce,共同点都是分布式的，主从关系结构。
HDFS=一个NameNode+多个DataNode,
NameNode含有我们用户存储的文件的元数据信息。数据本身是放在硬盘上的，但是在运行时是加载在内存里的。
缺点：（1）当我们的NameNode无法在内存中加载全部元数据信息的时候，集群的寿命就到头了。
（2）权限设计不够彻底的，hadoop1使用的是linux权限系统。
（3）大量小文件存储时，会造成NameNode的内存压力剧增。
改进：（1）2个NameNode一起共存，组成HDFS
federation
HDFS federation 结构如下：
（2）HA （Hight Avialiable）自动、手工切换
结构如下：
MapReduce=一个JobTracker+多个TaskTracker
JobTracker主要的工作使管理用户提交的作业和分配资源。
缺点：（1）对实时性作业和批处理作业，需要搭建不同的集群环境，每个集群的资源利用率不高。
（2）MapReduce职责过多，需要分解
Yarn是一个平台，用于处理资源分配和运行任务的。spark、storm、mapreduce在运行时，遵循自己的处理逻辑，互不干涉，共同点是使用相同的平台上的资源（包含内存、cpu、网络、硬盘），存在竞争关系。
Yarn的架构如图：
标签：
原文地址：http://www.cnblogs.com/xiejingpeng/p/4322064.html
