摘自http://www.lupaworld.com/portal.php?mod=view&aid=205722&page=all 本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、O ...
分类：
其他好文 时间：
2016-05-27 14:40:37
阅读次数：
137
着系统的复杂性不断增加，我们所面对的分布式系统渐渐增加。分布式文件系统、分布式消息队列系统等等层出不穷，在一些行业特别是互联网行业应用广泛。分布式数据库也是目前使用比较常用的分布式系统之一。 简单来说，分布式数据库就是通过多个相互连接的数据库节点（注意不是Instance），来支持前端系统数据访问需 ...
分类：
数据库 时间：
2016-05-24 19:08:23
阅读次数：
203
1、Hadoop包含一个完整的生态圈 Hive 数据仓库 HDFS 分布式文件系统 MapReduce 并行调度框架 2、MapReduce过程 Mapper和Reduce的入参和出参都是key/value 三、HDFS 1、HDFS性质 2、HDFS数据块 1、磁盘的块一般是512字节，HDFS一 ...
分类：
其他好文 时间：
2016-05-24 01:40:20
阅读次数：
189
前言众所周知,HDFS作为一个分布式文件系统.存储着海量的数据,每天的IO读写操作次数当然是非常高的.所以在之前的文章中,我们提到了用HDFS的异构存储来做冷热数据的分类存储,但比较好的一点是,他们还是隶属于同一个集群.那么问题来了,是否我还可以做进一步的改进,优化呢,因为有的数据文件访问在某个时间段是大家公用的,访问频率甚至比一般的热点文件还要高很多.但是过了那个时间点,就又会变为普通的文件.本文...
分类：
其他好文 时间：
2016-05-23 15:14:41
阅读次数：
226
FastDFS简介FastDFS是一个轻量级的开源分布式文件系统FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份，节约磁盘空间FastDFS..
分类：
其他好文 时间：
2016-05-21 00:08:45
阅读次数：
262
Google Cloud 设计原理： 1.分布式文件系统： Google Distributed File System(GSF) 为了满足Google迅速增长的数据处理需求，我们设计并实现了Google文件系统(Google File System – GFS)。GFS与传统的分布式文件系统有着很 ...
分类：
其他好文 时间：
2016-05-17 00:36:58
阅读次数：
603
Linux文件系统:ext2,ext3,ext4,xfs,btrfs,reiserfs,jfs,swapswap:交换分区光盘：iso9660Windows：fat32,ntfsUnix:FFS,UFS,JFS2网络文件系统：NFS,CIFS集群文件系统：GFS2,OCFS2分布式文件系统：ceph,moosefs,mogilefs,GlusterFS,Lustre根据其是否支持"journal"功能：日志型文件..
分类：
系统相关 时间：
2016-05-16 17:56:32
阅读次数：
359
Ceph是加州大学Santa Cruz分校的Sage Weil（DreamHost的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。自2007年毕业之后，Sage开始全职投入到Ceph开 发之中，使其能适用于生产环境。Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。2010年3
月，Linus Torvalds将Ceph clien...
分类：
其他好文 时间：
2016-05-13 19:11:58
阅读次数：
718
NFS周边 Network File System 作用 像访问本地文件一样去访问NFS服务器上的文件，目录 引用场景： ..1 用户上传的静态文件 图片，视频，用户上传的视频，头像 ..2 中小企业使用NFS的频路很高，如果高并发的大型网站可能使用分布式文件系统 ..3 有多个web服务器提供同一 ...
分类：
其他好文 时间：
2016-05-13 08:02:05
阅读次数：
137
ＤＴ大数据梦工厂联系方式：新浪微博：www.weibo.com/ilovepains/微信公众号：DT_Spark博客：http://.blog.sina.com.cn/ilovepains一：sparkSQL 下的Parquet意义再思考存储空间包括：内存和磁盘，计算方面如果说HDFS是大数据时代分布式文件系统存储的事实标准的话，parquet则是整个大数据时代文件存储格式的事实标准。1、 速度...
分类：
数据库 时间：
2016-05-13 02:00:33
阅读次数：
275
