标签:
Hadoop有一个称为HDFS的分布式系统,全称为Hadoop Distributed Filesystem。
HDFS有块(block)的概念,默认为64MB,HDFS上的文件被划分为块大小的多个分块,作为独立的存储单元。使用块的好处在于:1. 一个文件大小可以大于集群网络中任意一个磁盘的容量,文件的所有块不需要存储在同一个磁盘上;2.简化存储管理;3.提供数据容错能力和可用性
HDFS集群有2类节点:一个namenode(管理者)和多个datanode(工作者)。namenode管理文件系统的命名空间,维护着文件系统树及整棵树内的所有文件和目录,这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件。datanode是文件系统的工作节点,根据需要存储并检索数据库,定期向namenode发送它们所存储的块的列表。
标签:
原文地址:http://www.cnblogs.com/harrywang1225/p/4962790.html