Hadoop课程

标签：处理流程   href   img   基于   搜索引擎   strong   height   格式   计算机网络   

作者：gqk

1，Hadoop的前世今生：

2，hadoop是什么：

　　Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 ^[2] 

3，什么是分布式文件系统：

　　指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连

4，hadoop的四大组件：

　　common、HDFS、MapReduce、YARN

　　common：Hadoop常用的工具类，

　　HDFS:Hadoop实现了一个分布式的文件系统，HDFS为海量的数据提供了存储

　　MapReduce:基于YARN的大型数据集并行处理系统。是一种计算模型，用以进行大数据量的计算。

　　yarn:分布式集群资源管理框架，管理者集群的资源

 5，HDFS:分布式文件系统：

　　a,文件系统：文件管理+block块管理（读写文件存储到磁盘中的块）

　　    单机文件系统：windows（文件系统格式）：FAT16,FAT32，NTFS 

　　　　　　　　　　 LINUX（文件系统格式）:ext2/3/4,vfs

 　　b,分布式文件系统：多个服务器存储文件（画图说明搜索引擎处理流程）

Hadoop课程

标签：处理流程   href   img   基于   搜索引擎   strong   height   格式   计算机网络   

原文地址：https://www.cnblogs.com/520gqk/p/9592021.html