Hadoop理论一.简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,以Hadoop分布式文件系统(HDFS,HadoopDistributedFilesystem)和MapReduce(GoogleMapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。模仿了goole的大数据开源,..
分类:
其他好文 时间:
2016-08-19 22:23:35
阅读次数:
182
一:简单介绍 FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(s ...
分类:
Web程序 时间:
2016-08-19 20:35:43
阅读次数:
211
FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage) ...
分类:
Web程序 时间:
2016-08-18 13:01:45
阅读次数:
217
文档修订记录跟踪服务器:TrackerServer1IP:10.10.16.201FASTDFS-TRACKER-01TrackerServer2IP:10.10.16.202FASTDFS-TRACKER-02存储服务器:StorageServer1IP:10.10.16.203FASTDFS-STORAGE-01StorageServer2IP:10.10.16.204FASTDFS-STORAGE-02集群中各操作系统环境设置:(1) fas..
分类:
其他好文 时间:
2016-08-14 22:26:12
阅读次数:
266
2.GlusterFS的部署方法。 操作系统: centos6.4: 一共有三台机器: client: 10.23.85.47 glusterA server: glusterfs源代码:http://yunpan.cn/cVHsYCHzGGe43(提取码:710e)(代码版本为3.6.3) glu ...
分类:
其他好文 时间:
2016-08-11 20:42:41
阅读次数:
447
http://blog.csdn.net/yecong111/article/details/42646523 http://www.cnblogs.com/seven7seven/p/4195736.html FastDFS为什么要结合Nginx? 我们在使用FastDFS部署一个分布式文件系统的 ...
分类:
其他好文 时间:
2016-08-09 09:24:36
阅读次数:
149
之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果。现是得开始稍微更深入地了解hadoop了。 Hadoop包含了两大功能DFS和MapReduce, DFS可以理解为一个分布式文件系统,存储而已,所以这里暂时就不深入研究了,等后面读了其源码后,再来深入分析。 所以这里主要 ...
分类:
其他好文 时间:
2016-08-08 17:36:22
阅读次数:
209
背景介绍: 项目目前在文件同步方面采用的是rsync,在尝试用分布式文件系统替换的时候,使用过MooseFS,效果差强人意,在了解到了GlusterFS之 后,决定尝试一下,因为它跟MooseFS相比,感觉部署上更加简单一些,同时没有元数据服务器的特点使其没有单点故障的存在,感觉非常不错。 环境介绍 ...
分类:
其他好文 时间:
2016-08-07 13:43:48
阅读次数:
245
从fastdfs文件系统结构中我们可以看出不管是上传文件、删除文件、修改文件及新增storager server,文件的同步都是同组
内多台storager server之间进行的;
tracker server的配置文件中没有出现storage server,而storage server的配置文件中会列举出所有的tracker server。
这就决定了storage server和tracker server之间的连接由storage server主动发起,storage server为每个track...
分类:
其他好文 时间:
2016-08-04 21:42:54
阅读次数:
388
一、FastDFS简介一、FastDFS简介FastDFS是由国人余庆所开发,其项目地址:https://github.com/happyfish100FastDFS是一个轻量级的开源分布式文件系统,主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡。
支持存储服务器在线扩容,支持相同的文件只保存..
分类:
其他好文 时间:
2016-08-04 19:33:58
阅读次数:
234