HDFS优缺点

标签：保存   机制   并发   容错性   2.0   数据   解决   大数据处理   恢复   

HDFS解决大数据存储的问题

HDFS优点

• 高容错性

　　　　数据自动保存多个副本

　　　　副本丢失后自动恢复

• 适合批处理

　　　　移动计算而非数据

　　　　数据位置暴露给计算框架

• 适合大数据处理

　　　　GB、TB、甚至PB级数据

　　　　百万规模以上的文件数据量

　　　　10K+结点

• 可构建在廉价机器上（为啥-->因为有高容错性，即使机器挂了数据也不会丢）

　　　　通过多副本提高可靠性

　　　　提供了容错和恢复机制

HDFS缺点

• 低延迟数据访问（读一些小文件的时候，寻址时间可能会比读数据还长）

• 小文件存储（想办法转成大文件）

　　　　占用namenode大量内存（元数据信息）

　　　　寻道时间超过读取时间

• 并发写入、文件随机修改

　　　　一个文件只能有一个写者

　　　　不支持内容修改，虽然2.0仅支持append，但一般生产环境不会开放（涉及到副本的修改，涉及文件大小改变切分）

HDFS优缺点

标签：保存   机制   并发   容错性   2.0   数据   解决   大数据处理   恢复   

原文地址：http://www.cnblogs.com/maikerniuniu/p/7487435.html