HDFS设计理念

标签：hdfs

1. HDFS是用户空间文件系统，不像ext3文件系统需要挂载，只用应用程序显式地编译它即可

2. 集群中的各个主机只存储文件系统的一个数据子集，当需要存储更多数据块时，只需要添加更多挂载了多个物理磁盘的主机即可实现。文件系统的元数据存储在中央服务器中，提供数据块的目录结构，并维护整个文件系统的全局状态

3. HDFS数据块默认大小为64MB，远高于传统文件系统的数据块大小(4KB或8KB)，提升了大型数据流I/O操作的效率

4. 数据块默认复制三份，由于HDFS文件具有“只写一次”的特点，每个副本一旦写入完成，就不会再被更改

5. 在DataNode初始化过程中，以及之后每隔1小时，都会向NameNode发送一个块报告。块报告是包含DataNode磁盘中所有数据块信息的列表

6. NameNode保存文件与数据块的映射关系，却并不保存数据块的位置信息，NameNode必须收集齐所有DataNode的块报告后才能知道所有数据块的存在

7. NameNode文件系统的元数据全部保存在RAM中，1GB内存可以管理大约100万个数据块
   

本文出自 “lucas” 博客，请务必保留此出处http://4292565.blog.51cto.com/4282565/1672849

HDFS设计理念

标签：hdfs

原文地址：http://4292565.blog.51cto.com/4282565/1672849