HDFS相关概念

标签：大小   传输   bsp   总结   block   progress   int   UI   相关   

一：hdfs设计原理

　　负载均衡，考虑分布式计算

　　-->block机制

二：block默认大小为128m，【hadoop2.0版本以上】，之前都是64m。

　　原因：默认传输效率10M/s　　寻址时间占传输时间的1%　　寻址时间为10ms

　　总结：block是物理的，真正存储的位置在本地磁盘{hadoop.tmp.dir}/dfs/data,

　　　　　block是针对文件说的，按照块号存储的物理文件，复本是针对块说的。

三：WebUI：50070描述

　　Startup Progress页【集群开启的过程】

　　　　-->加载fsimage镜像文件

　　　　-->加载edits编辑文件

　　　　-->Saving checkpoint(检查点)

　　　　-->Safe mode

　　　　-->awaiting reported blocks

HDFS相关概念

标签：大小   传输   bsp   总结   block   progress   int   UI   相关   

原文地址：https://www.cnblogs.com/lyr999736/p/9139441.html