HDFS02

标签：logs   流程   name   大数据   快照   nbsp   大数   处理   secondary   

读取流程

 写流程

============SecondaryNameNode============

Namenode的一个快照

周期性的备份namenode

记录namenode中的metadata及其它数据

可以用来恢复Namenode

============HDFS优点============

高容错性 --------->

√数据自动保存多个节点

√备份丢失后，自动恢复

适合批处理 --------->

√移动计算而非数据

√数据位置暴露给计算框架

合适大数据处理 --------->

√GB、TB、甚至PB级数据

√百万规模以上的文件数量

√ 10K+节点规模

流式文件访问 --------->

√一次性写入、多次读取

√保证数据的一致性

可构建在廉价的机器上 --------->

√通过多副本提高可靠性

√提供了容错和恢复机制

============HDFS缺点============

低延迟数据访问 --------->

√比如毫秒级

√低延迟与高吞吐率

小文件存取 --------->

√占用NameNode大量内存

√寻道时间超过读取时间

并发写入、文件随时修改 --------->

√一个文件只能有一个写者

√仅支持append

HDFS02

标签：logs   流程   name   大数据   快照   nbsp   大数   处理   secondary   

原文地址：http://www.cnblogs.com/xtdxs/p/7074018.html