前面展示了 MapReduce 针对 小量 输入的 工作方式， 现在是时候 整体 了解 系统 并 进入 大数据 流 作为 输入了。 为简单起见，我们的例子 到目前为止 都使用 本地 文件系统 中的文件。 然而 ， 为了 分布化，我们需要 把 数据 存储在 分布式文件 系统中， 典型的如 HDFS ， ...
分类：
其他好文 时间：
2016-04-10 19:26:49
阅读次数：
225
Ceph分布式存储系统Ceph是根据加州大学SantaCruz分校的SageWeil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，..
分类：
其他好文 时间：
2016-04-07 21:00:49
阅读次数：
1068
一、 HDFS简介 1、 HDFS全称 Hadoop Distributed FileSystem，Hadoop分布式文件系统。 Hadoop有一个抽象文件系统的概念，Hadoop提供了一个抽象类org.apache.hadoop.fs.FilesSystem，HDFS是这个抽象类的一个实现。其他还 ...
分类：
其他好文 时间：
2016-04-07 07:08:44
阅读次数：
242
glusterfs是一个流行的分布式文件系统，它的存储卷分为几种一、分布式卷（Distributedvolume）近似于raid0，文件没有分片，将文件逐个写入各个硬盘上，优点是容量大，缺点是没冗余。二、条带卷（Stripedvolume）相当于raid0，文件是分片均匀写在各个硬盘上的，优点是分布式读写..
分类：
其他好文 时间：
2016-04-06 18:59:31
阅读次数：
194
分布式文件系统HDFS的工作原理 Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。 ...
分类：
其他好文 时间：
2016-04-05 17:40:01
阅读次数：
132
分布式文件系统fastDFS 1、什么是FastDFS FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供... ...
分类：
其他好文 时间：
2016-04-01 14:42:14
阅读次数：
243
本地文件系统如ext3，reiserfs等（这里不讨论基于内存的文件系统），它们管理本地的磁盘存储资源、提供文件到存储位置的映射，并抽象出一套文件访问接口供用户使用。但随着互联网企业的高速发展，这些企业对数据存储的要求越来越高，而且模式各异，如淘宝主站的大量商品图片，其特点是文件较小，但数量巨大；而 ...
分类：
其他好文 时间：
2016-03-30 09:53:22
阅读次数：
258
原文地址：http://support.huawei.com/ecommunity/bbs/10253434.html 1. GlusterFS概述 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存 ...
分类：
其他好文 时间：
2016-03-27 19:35:47
阅读次数：
438
原文：http://www.linuxidc.com/Linux/2013-08/89105.htm 1. GlusterFS概述 GlusterFS是一个开源的分布式文件系统，具有强大的Scale-Out横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/I ...
分类：
其他好文 时间：
2016-03-24 18:06:12
阅读次数：
263
Hadoop1.0最新稳定版本1.2.1 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce Hadoop2.0稳定版本2.2.0 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce 4.YARN H
分类：
其他好文 时间：
2016-03-20 21:17:58
阅读次数：
224
