码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop学习笔记01——Hadoop分布式文件系统

时间:2015-11-13 18:55:55      阅读:309      评论:0      收藏:0      [点我收藏+]

标签:

Hadoop有一个称为HDFS的分布式系统,全称为Hadoop Distributed Filesystem。

HDFS有(block)的概念,默认为64MB,HDFS上的文件被划分为块大小的多个分块,作为独立的存储单元。使用块的好处在于:1. 一个文件大小可以大于集群网络中任意一个磁盘的容量,文件的所有块不需要存储在同一个磁盘上;2.简化存储管理;3.提供数据容错能力和可用性

HDFS集群有2类节点:一个namenode(管理者)和多个datanode工作者)。namenode管理文件系统的命名空间,维护着文件系统树及整棵树内的所有文件和目录,这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件。datanode是文件系统的工作节点,根据需要存储并检索数据库,定期向namenode发送它们所存储的块的列表。

 

Hadoop学习笔记01——Hadoop分布式文件系统

标签:

原文地址:http://www.cnblogs.com/harrywang1225/p/4962790.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!