码迷,mamicode.com
首页 > 其他好文 > 详细

Google 三大经典论文研读:GFS、BigTable、MapReduce

时间:2018-06-20 19:01:09      阅读:382      评论:0      收藏:0      [点我收藏+]

标签:写文件   文件   情况   通讯   col   情况下   同步   操作   span   

一、GFS

Google File System就是HDFS的前身

HDFS 参照了GFS的设计理念,大部分架构设计概念是类似的,比如 HDFS NameNode 相当于 GFS Master,HDFS DataNode 相当于 GFS chunkserver\

 

1.设计目标:

  • 多个客户端可以在不需要额外的同步锁定的 情况下,同时对一个文件追加数据
  • 高性能的稳定网络带宽远比低延迟重要。目标程序绝大部分要求能够高速率的、大批量的处理数
    据,极少有程序对单一的读写操作有严格的响应时间要求

 

2.架构:

技术分享图片

 

 

一个 Chunk块为64MB

 

  • Master 节点使用心跳信息周期地和每个 Chunk 服务器通讯,发送指令到各个 Chunk 服务器并接收 Chunk 服务器的状态信息。 

  • 客户端并不通过 Master 节点读写文件数据。反之,客户端向 Master 节点询问它应该联系的 Chunk 服务器。 客户端将这些元数据信息缓存一段时间,后续的操作将直接和 Chunk 服务器进行数据读写操作。 

 

 

 3.GFS的一致性模型:

尽量采用追加写入而不是覆盖,Checkpoint,自验证的写入操作,自标识的记录 

 

 

 

4. 对比HDFS架构:
 
技术分享图片

 

 
 
 
  • master slave model: 只有主人和slave进行主观能动的通信,slave间不会通信。
  • master只会决定哪个slave去做读/写工作,然后client会直接和slave去传输。master只会收到request,master不会传输数据。
  • 怎么存储数据:block of small file
  • 谁负责去将数据拆分成小的blocks? => HDFS client

 

 

 

 

二、BigTable

 

 

 

三、MapReduce

Google 三大经典论文研读:GFS、BigTable、MapReduce

标签:写文件   文件   情况   通讯   col   情况下   同步   操作   span   

原文地址:https://www.cnblogs.com/shawshawwan/p/9204675.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!