hadoop介绍

标签：数据   分发   调用   资源   hadoop   存储   机器   mapr   red   

hadoop：是java写的一个框架，可以理解成java写的一个应用，他主要是用来分布式存储和分布式计算。

1 为什么需要分布式存储，因为单台设备不够存储，实现办法的hadoop分布式是文件系统hdfs

2 分布式计算：因为数据量很大、一台机器硬件资料有限，实现办法是yarn和MapReduce、yarn是资料的管理系统，MapReduce是把计算分发到yarn是进行处理，为什么需要yarn是因为在计算过程中会出现资源的争夺等等，需要yarn统一管理，MapReduce分两个过程，map和reduce。

hadoop的基本组件

1 通用组件、比如rpc调用

2 HDFS分布式文件系统、用来分布式存储。

3 yarn分布式资源管理

4 MapReduce分布式批处理

hadoop生态游很多组件

hive

HBASE

spark

等等

hadoop介绍

标签：数据   分发   调用   资源   hadoop   存储   机器   mapr   red   

原文地址：https://www.cnblogs.com/kuainiao/p/9379355.html