标签：linu 大于 资源管理器 src 有一个 应对 统一 好的 分布式计算
1.用图表描述Hadoop生态系统的各个组件及其关系。
Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。
(1).HDFS:具有处理超大数据、流式处理、可以运行在廉价商用服务器上，访问应用程序数据时有很高的吞吐率。
(2).HBase:是一个高可靠、高性能、面向列、可伸缩的分布式数据库，采用基于列的存储，具有良好的横向扩展能力。
(3).MapReduce:分布式并行编程模型，用于大规模数据集（大于1TB）的并行运算，将自己的程序运行在分布式系统上，完成海量数据集的计算。
(4).Hive:数据仓库工具，对数据进行数据整理、特殊查询和分析处理。
(5).Pig:数据分析平台，侧重数据查询和分析。
(6).Zookeeper:提供分布式锁之类的基本服务。
(7).Flume:高可用的、高可靠的、分布式的海量日志采集、聚合和传输系统，定制各类数据发送方，用于收集数据。
(8).Sqoop:主要用来在Hadoop和关系数据库之间交换数据，可以改进数据的互操作性。
2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。
Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTable，即分布式NoSQL列数据库，外加Zookeeper对应于Chubby，即分布式锁设施。
HDFS
HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是GFS的实现版。HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。HDFS简化了文件的一次性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适用带有数据集的应用程序。HDFS提供一次写入多次读取的机制，数据以块的形式，同时分布存储在不同的物理机器上。
HDFS默认的最基本的存储单位是64MB的数据块，和普通文件系统一样，HDFS中的文件被分成64MB一块的数据块存储。它的开发是基于流数据模式访问和处理超大文件的需求。
MapReduce
Mapduce（分布式计算框架）源自于Google的MapReduce论文，发表于2004年12月，Hadoop MapReduce是Google Reduce 克隆版。MapReduce是一种分布式计算模型，用以进行海量数据的计算。它屏蔽了分布式计算框架细节，将计算抽象成Map 和Reduce两部分，其中Map对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约，以得到最终结果。MapReduce非常适合在大量计算机组成的分布式并行环境里进行数据处理。
HBase
Hbase（分布式列存数据库）源自Google的BigTable论文，发表于2006年11月，HBase是Google Table的实现。HBase是一个建立在HDFS之上，面向结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。HBase采用了BigTable的数据模型，即增强的稀疏排序映射表（Key/Value）,其中，键由行关键字、列关键字和时间戳构成。HBase提供了对大规模
YARN
YARN（分布式资源管理器）是下一代MapReduce，即MRv2，是在第一代MapReduce基础上演变而来的，主要是为了解决原始Hadoop扩展性差，不支持多计算框架而提出的。YARN是下一代Hadoop计算平台，是一个通用的运行时框架，用户可以编写自己的极端框架，在该运行环境中运行。
Spark
Spark（内存DAG计算模型）是一个Apche项目，被标榜为“快如闪电的集群计算”，它拥有一个繁荣的开源社区，并且是目前最活跃的Apache项目。最早Spark是UC Berkeley AMP Lab所开源的类Hadoop MapReduce的通用计算框架，Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比，Spark平台可以让你的程序在内存中运行时速度提升100倍，或者在磁盘上运行时速度提升10倍。
3.使用Linux的常用命令，教材P15。
标签：linu 大于 资源管理器 src 有一个 应对 统一 好的 分布式计算
原文地址：https://www.cnblogs.com/YoungRun/p/14466659.html
