标签：linux系统   hdf   复制   拆分文件   一个   故障   有一个   大文件   文件   

分布式文件系统(HDFS）与linux系统文件系统关系

HDFS基于操作系统的文件系统；

假设有一个1G的大文件，在linux文件系统上就是一个文件，由1G/512b的block组成；在HDFS上需要1024MB/64MB=16块，即16个linux文件组成，所以相当于一个普通1G的文件分成了16个小文件，在HDFS上的namenode会记录1G文件名对应16个文件名映射关系和16个文件名在对应datanote节点上的映射关系（备份除外）。datanote节点上的16个小文件就是linux文件，在各自datanote节点上的inode里记录了16个文件对应物理磁盘的映射关系。简而言之：1G的分布式文件转换成16个linux文件，HDFS就是实现了拆分文件功能，当然由于考虑单点故障原因，它把每个文件复制了3份(默认),不管哪个节点出故障可以合成完整的一个1G文件

[杂谈]杂谈章5 问一些问题

标签：linux系统   hdf   复制   拆分文件   一个   故障   有一个   大文件   文件   

原文地址：https://www.cnblogs.com/szss/p/10783127.html