码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop---hdfs详解(一)

时间:2018-08-30 18:28:02      阅读:245      评论:0      收藏:0      [点我收藏+]

标签:lock   http   sum   ati   hunk   scl   hdf   详解   inf   

hdfs名词解释:
Block: 在hdfs中文件都是采用分块的方式存储,每个block放在不同的DataNode上,block标识是一个三元组(block ID,numBytes,generationStamp),blockID是唯一的,具体分配由namenode节点设置,然后再由DataNode上建立block文件,同时建立对应的block meta文件。
Packet:在DFSclient与DataNode之间通信的过程中,文件采用的是基于块的方式进行,但数据发送过程中是以packet的方式进行的,每个packet包含了多个chunk,同时对chunk进行checksum计算,生成checksum bytes。
小结:一个文件被拆分成多个block持续化存储;传送数据时一个block又被拆分成多个packet;一个packet包含多个chunk。
packet结构与定义:packet分为两类,一类是实际数据包,另一类是heatbeat数据包,packet数据包的组成结构:
技术分享图片
packet由header和data两部分组成,header部分包含packet的概要属性
技术分享图片

hadoop---hdfs详解(一)

标签:lock   http   sum   ati   hunk   scl   hdf   详解   inf   

原文地址:https://www.cnblogs.com/jason-lc/p/9558743.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!