标签:数据分布 容错性 fling 用户 cdh 计算 计算框架 容错 框架
查看官网,了解hadoop是一个开源的可靠的可扩展的分布式框架,它有很多的组件,比如Common,HDFS
YARN,MapReduce.
HDFS特点
数据切分,多副本,容错等操作对用户是透明的,也就是说我们不需要关心这些,我们操作对象还是文件,而不是数据块
YARN特点:扩展性高,容错性高,多框架资源统一调度
图可以看出最下面是HDFS分布式文件系统,中间是YARN分布式资源调度系统,看出可以在YARN上跑很多的程序,比如pig,hive,hbase,spark等等。
成熟的生态圈
网上查infoq.com
侠义的hadoop:是一个适合大数据分布式存储(HDFS),分布式计算(MapReduce)和资源调度(YARN)的平台。
广义的Hapdoop:指的是hadoop生态系统,hadoop生态系统是一个很庞大的概念,hadoop是其中最重要最基础的一个部分,生态系统中每一个子系统只能解决某一个特定的问题域。
每个组件都有自己的应用场景
hadoop生态系统的提点
标签:数据分布 容错性 fling 用户 cdh 计算 计算框架 容错 框架
原文地址:https://www.cnblogs.com/liaozhilong/p/9655232.html