码迷，mamicode.com
首页 > 其他好文 > 详细

3. hdfs原理分析

时间：2015-06-12 20:49:05      阅读：128      评论：0      收藏：0      [点我收藏+]

标签：

1. HDFS （2.0）架构：
技术分享

技术分享技术分享


2. HDFS 设计思想：
技术分享
    
  HDFS数据块（block）:
  • 文件被切分成固定大小的数据块
    • 若文件大小不到64MB，则单独存成一个block
  • 为何数据块如此之大
    • 数据传输时间超过寻道时间（高吞吐率）
  • 一个文件存储方式
    • 按大小被切分成若干个block，存储到不同节点上
    • 默认情况下每个block有三个副本 

3. HDFS优缺点：
    优点：
  • 高容错性
    • 数据自动保存多个副本
    • 副本丢失后，自动恢复
  • 适合批处理
    • 移动计算而非数据
    • 数据位置暴露给计算框架
  • 适合大数据处理
    • GB、TB、甚至PB级数据
    • 百万规模以上的文件数量
    • 10K+节点规模
  • 流式文件访问
    • 一次性写入，多次读取
    • 保证数据一致性
  • 可构建在廉价机器上
    • 通过多副本提高可靠性
    • 提供了容错和恢复机制 
    缺点：
  • 低延迟数据访问
    • 比如毫秒级
    • 低延迟与高吞吐率
  • 小文件存取
    • 占用NameNode大量内存
    • 寻道时间超过读取时间
  • 并发写入、文件随机修改
    • 一个文件只能有一个写者
    • 仅支持append

4. HDFS 写流程：

技术分享


5. HDFS 读流程：
技术分享

6. HDFS副本放置策略：
问题：
一个文件划分成多个block，每个block存多份，如何为每个block选择节点存储这几份数据？

 Block副本放置策略：
  • 副本1: 同Client的节点上
  • 副本2: 不同机架中的节点上
  • 副本3: 与第二个副本同一机架的另一个节点上
  • 其他副本:随机挑选 
    技术分享

  HDFS可靠性策略：

 技术分享


7. HDFS典型物理拓扑：
技术分享







3. hdfs原理分析

标签：

原文地址：http://www.cnblogs.com/51runsky/p/4572416.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！