码迷,mamicode.com
首页 > 其他好文 > 详细

分布式文件系统比较出名的有HDFS? 和 GFS

时间:2017-07-08 14:10:11      阅读:155      评论:0      收藏:0      [点我收藏+]

标签:orm   post   人人网   qq空间   blog   如何   www   ati   style   

分布式文件系统比较出名的有HDFS  和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。

1、三个部分: 客户端、nameserver(可理解为主控和文件索引,类似Linux的inode)、datanode(存放实际数据)

技术分享

 

在这里,client的形式我所了解的有两种,通过Hadoop提供的api所编写的程序可以和hdfs进行交互,另外一种就是安装了hadoop的datanode其也可以通过命令行与hdfs系统进行交互,如在datanode上上传则使用如下命令行:bin/hadoop fs -put example1 user/chunk/

2、如何写数据过程

技术分享

 技术分享

技术分享 

技术分享

技术分享

技术分享

3、读取数据过程

--------------------------------
1.翻译经典 HDFS 原理讲解漫画 之二----读数据和容错 - hudiefenmu的专栏 - CSDN博客


== 以上 2017/7/8 下午12:40:15

技术分享

4、容错:第一部分:故障类型及其检测方法(nodeserver 故障,和网络故障,和脏数据问题)

技术分享

技术分享

5、容错第二部分:读写容错

--------------------------------
1.翻译经典 HDFS 原理讲解漫画 之三---容错和副本布局策略 - hudiefenmu的专栏 - CSDN博客

== 以上 2017/7/8 下午12:41:57


技术分享

6、容错第三部分:dataNode 失效

技术分享

7、备份规则

技术分享

8、结束语

技术分享




参考:

--------------------------------
1.【转】【漫画解读】HDFS存储原理 - Bodi - 博客园

== 以上 2017/7/8 下午12:44:07



分布式文件系统比较出名的有HDFS? 和 GFS

标签:orm   post   人人网   qq空间   blog   如何   www   ati   style   

原文地址:http://www.cnblogs.com/liango/p/7136448.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!