为什么要集群文件系统，在什么场景中适用我就用一句话来概括，当多个节点需要读写同一个文件系统时，需要使用集群文件系统，它可以将文件系统持有的锁信息传递到各个节点。实验一、将iSCSI共享出来的磁盘，做成gfs2文件系统，实现多个节点可挂载同一个文件系统，保证数据同步实..
分类：
其他好文 时间：
2014-07-30 14:59:14
阅读次数：
418
HDFS（GFS） Python实现实现了HDFS的最基本的功能。具体的每一步的实现过程可以在这里看到https://github.com/DanielJyc/HDFS。每一个commit都可以执行，算是记录了自己的实现过程。总体的设计框图如下：总体设计操作：上传文件到HDFS：upload?fil...
分类：
编程语言 时间：
2014-07-27 10:11:12
阅读次数：
308
006年的OSDI有两篇google的论文，分别是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了BigTab...
分类：
其他好文 时间：
2014-07-26 09:54:57
阅读次数：
376
The Google File System中文版译者：alex摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。虽然GFS的设计目标与许多传...
分类：
其他好文 时间：
2014-07-10 17:02:08
阅读次数：
289
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇非常有影响力的文章，各自是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机...
分类：
其他好文 时间：
2014-07-09 21:36:17
阅读次数：
187
GFS解决了某些业务场景对分布式文件系统需求，很自然的，也有某些业务仅仅靠文件系统用起来还是不那么方便，它们需要分布式数据库系统。BigTable就是Google为了解决内部对大规模结构化数据处理的需求而产生的。论文摘要涉及的“关键”字为：
1. 结构化数据
2. 数据量大
3. 典型应用：Web索引，Google Earth，Google Finance
4. 批处理和实时需求
5. ...
分类：
其他好文 时间：
2014-06-30 16:58:28
阅读次数：
200
核心目标：Google File System是一个面向密集应用的，可伸缩的大规模分布式文件系统。GFS运行在廉价的设备上，提供给了灾难冗余的能力，为大量客户机提供了高性能的服务。1．一系列前提GFS的系统构建针对其自身使用的特点在传统的分布式系统的基础上又进行了一些创新,基于的前提假设主要包括以下...
分类：
其他好文 时间：
2014-06-19 08:44:16
阅读次数：
261
??
本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。
设计要点:
性能
提高性能的方法就是并行，讲一个任务分解成多个任务，同时执行。
GFS中的思路是将文件分块,每个块是一个chunk,每个chunk单独保存，保存chunk的节点叫chunkserver。对文件的读写，可以转成对chun...
分类：
其他好文 时间：
2014-06-17 23:00:34
阅读次数：
268
1、两台服务器安装如下包：apr-1.2.7-11.el5_3.1.x86_64.rpmapr-util-1.2.7-11.el5.x86_64.rpmcman-2.0.115-34.el5.x86_64.rpmcman-devel-2.0.115-34.el5.i386.rpmcman-devel...
分类：
系统相关 时间：
2014-06-16 10:18:05
阅读次数：
314
LVS框架：三层结构： 网络 (LVS--linux) （WWW , FTP ,STML）
(GFS,OCFS2)用户 －－ > Director Server ---> Real Server1 Real Server2 -->
集群文件系统Real Server3软件：浏览器 ipvsadm h...
分类：
其他好文 时间：
2014-06-06 15:31:00
阅读次数：
299
