FastDFS相关知识什么是FastDFS？FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：4KB<file_size<500MB）为载体的在线服务，如相册网站、视频网站等等。FastDFS的角色：Trackerserver:Trackerserver作为..
分类：
其他好文 时间：
2016-06-17 17:43:04
阅读次数：
253
一、HDFS的背景介绍 随着数据量越来越大， 在 一个操作系统管辖的范围存不下了， 那么就 分配到更多的操作系统管理的磁盘中， 但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。 学术一点的定义就是： 分布式文件系统是一种允许文件通过网络在多台主机上分享的 文件 ...
分类：
其他好文 时间：
2016-06-17 16:52:45
阅读次数：
192
前言 一直有Linux kernel情节，之前也一直在看Linux kernel相关的书和代码，但是每次到最后又由于兴趣转变而荒废了。这次终于静下心来想把Linux内核相关的代码好好看看，算是对自己的一个沉淀吧。由于之前工作做的是分布式调度这块的东西，也稍微有过分布式文件系统相关的实习经历，所以阅读 ...
分类：
系统相关 时间：
2016-06-10 13:40:19
阅读次数：
170
MogileFS是一套开源的分布式存储软件，适用于存储海量小文件。由tracker,mogstore,database三个部分组成。Tracker：它通过数据库来保存元数据信息，包括站点domain、class、host等；主要功能包括监控后端Storage节点，及指示Storage节点完成数据的添加、删除、查询，及节点之间..
分类：
其他好文 时间：
2016-06-07 22:38:26
阅读次数：
538
1.背景 Spark平台以分布式内存计算的模式达到更高的计算性能，然而，分布式内存计算的模式也是一柄双刃剑，在提高性能的同时不得不面对分布式数据存储所产生的问题，具体问题主要有以下几个： 1) 当两个Spark作业需要共享数据时，必须通过写磁盘操作。比如：作业1要先把生成的数据写入HDFS，然后作业 ...
分类：
其他好文 时间：
2016-06-06 16:32:38
阅读次数：
185
hadoop的灵感源于谷歌，最初目的是解决传统数据库处理数据成本高和速度慢的问题。 hadoop两个核心项目是HDFS（hadoop分布式文件系统）和MapReduce。 HDFS用来实现数据的存储，它有别于传统关系型数据库的数据存储方式，不需要很强的数据完整性，以流式数据访问模式来存储超大文件。当 ...
分类：
其他好文 时间：
2016-06-05 08:41:08
阅读次数：
246
FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB
Storage server
Storage server（后简称storage）以组（卷，group或volume）为单位组...
分类：
其他好文 时间：
2016-06-02 13:46:33
阅读次数：
299
FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（trackerserver）、存储服务器（storageserver）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB<file_size<500MB）为载体的在线服务。StorageserverStorageser..
分类：
其他好文 时间：
2016-06-02 11:40:58
阅读次数：
256
FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。 S ...
分类：
其他好文 时间：
2016-06-02 11:14:33
阅读次数：
304
一：实验描述： fastdfs 介绍 FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS服务端有两个角色：跟踪器（tr ...
分类：
其他好文 时间：
2016-05-30 21:21:30
阅读次数：
170
