码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop之HDFS运行小观察

时间:2017-01-10 13:18:41      阅读:171      评论:0      收藏:0      [点我收藏+]

标签:集群   hdfs   没有   创建   技术分享   images   ado   edit   md5   

hadoop 是当前很火的一个  大数据运行框架和平台, 对于这个神奇的大家伙我甚是搞不清楚,前段时间闲来无视便把 HADOOP 运行起来, 看着它的操作记录存储部分(操作日志), IMAGE 记录着平台所有的文件操作记录,比如  创建文件,删除文件,改名 等等, 以下是我的一些小观察。

 

 

格式化----初始化

技术分享

这是 fsimage  最初的样子,因为只是将磁盘格式化,并没有任何操作。一个序号为0 的IMAGE ,  md5校验文件,   版本号文件。

 

 

 

格式化后开启集群

技术分享

 

 

 

无任何操作---1小时后

技术分享

可以看到  IMAGE 个数增加,   序号也在增加,  当然这段时间里面并没有什么任何操作。

 

 

 

 

 

 

经过一定操作后,  可以看到下两图:IMAGE 数量迅速增加,序号也在增加, 

edits  文件记录的是操作记录, 随时间增加,序号增加。

edits_inprogress  是正在进行记录的文件。

fsimage  是经过校验,在某个时间点之前的记录全部存盘的文件, 这里面可以看到是分别做了两个存储,是两个最后的临近时间点。

技术分享

 

技术分享

 

hadoop之HDFS运行小观察

标签:集群   hdfs   没有   创建   技术分享   images   ado   edit   md5   

原文地址:http://www.cnblogs.com/devilmaycry812839668/p/6268785.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!