大型互联网技术架构4－分布式存储-II; 分布式文件系统 － Google GFS; 分布式键值系统－ Alibaba Tair;分布式表格系统－ Google BigTable /Megastore;分布式数据库系统－Google Spanner / F1...
分类：
其他好文 时间：
2016-06-27 09:11:36
阅读次数：
501
一、HDFS读文件过程 1、客户端调用DistributedFileSystem的对象实例FileSystem的open方法来打开希望读取的文件，调用open后会返回一个FSDataInputStream对象。 2、分布式文件系统DistributedFileSystem通过RCP（远程过程调用）来 ...
分类：
其他好文 时间：
2016-06-25 12:15:01
阅读次数：
394
伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoop接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/... ...
分类：
其他好文 时间：
2016-06-25 08:28:22
阅读次数：
248
一、使用背景 业务驱动技术需要，原来使用 FTP和 Tomcat upload目录的缺陷日渐严重，受限于业务不断扩大，想使用自动化构建，自动化部署，Zookeeper中心化，分布式RPC DUBBO等技术时，遇到文件存储的瓶颈，因此需求一个使用分布式文件系统注入新的活力。 二、环境 参考 http: ...
分类：
其他好文 时间：
2016-06-25 00:51:40
阅读次数：
350
MogileFS分布式文件系统特点： 1.具有raid的性能 2.不存在单点故障 3.简单的命名空间： 每个文件对应一个key：用于domain定义名称空间 4.不共享任何数据 5.传输中立，无特殊协议：可以通过NFS或HTTP进行通信 6.自动文件复制：复制的最小单位不是文件，而class 7.应 ...
分类：
其他好文 时间：
2016-06-24 12:34:01
阅读次数：
276
简介MogileFS是一个开源的分布式文件存储系统，由LiveJournal旗下的DangaInteractive公司开发。Danga团队开发了包括Memcached、MogileFS、Perlbal等多个知名的开源项目。特性1、应用层：用户空间文件系统，无须特殊的核心组件2、无单点：（tracker,mogstore,database(MySQL)）3..
分类：
其他好文 时间：
2016-06-23 01:16:22
阅读次数：
569
分布式存储基本原理，及MogileFS分布式文件系统简单配置 ...
分类：
其他好文 时间：
2016-06-22 20:21:23
阅读次数：
163
1、分布式文件系统mfs(moosefilesystem)1.1、mfs文件系统的组成1、元数据服务器。在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器，进一步提高系统的可靠性。2..
分类：
其他好文 时间：
2016-06-21 21:00:58
阅读次数：
387
、moosefs+keepalived双机高可用2.1、部署环境及思路2.1.1、环境192.168.1.237keepalived（MASTER）mfsmastermfscgiserv192.168.1.236keepalived（Slave）mfschuckservermfsclient192.168.1.239虚拟VIP2.1.2、原理mfsmaster的故障恢复在1.6.5版本后可以由mfsmetalogger产生的日..
分类：
其他好文 时间：
2016-06-21 21:00:46
阅读次数：
208
3、Unison双向同步工具配置3.1、Unison简介Unison是Windows、Linux以及其他Unix平台下都可以使用的文件同步工具，它能使两个文件夹（本地或网络上的）保持内容的一致。Unison拥有与其它一些同步工具或文件系统的相同的特性，但也有自身的特点：1.跨平台使用；2.对内核和用户权..
分类：
其他好文 时间：
2016-06-21 20:59:29
阅读次数：
502
