标签:lock http sum ati hunk scl hdf 详解 inf
hdfs名词解释:
Block: 在hdfs中文件都是采用分块的方式存储,每个block放在不同的DataNode上,block标识是一个三元组(block ID,numBytes,generationStamp),blockID是唯一的,具体分配由namenode节点设置,然后再由DataNode上建立block文件,同时建立对应的block meta文件。
Packet:在DFSclient与DataNode之间通信的过程中,文件采用的是基于块的方式进行,但数据发送过程中是以packet的方式进行的,每个packet包含了多个chunk,同时对chunk进行checksum计算,生成checksum bytes。
小结:一个文件被拆分成多个block持续化存储;传送数据时一个block又被拆分成多个packet;一个packet包含多个chunk。
packet结构与定义:packet分为两类,一类是实际数据包,另一类是heatbeat数据包,packet数据包的组成结构:
packet由header和data两部分组成,header部分包含packet的概要属性
标签:lock http sum ati hunk scl hdf 详解 inf
原文地址:https://www.cnblogs.com/jason-lc/p/9558743.html