HDFS 核心原理 2016-01-11 杜亦舒 HDFS（Hadoop Distribute File System）是一个分布式文件系统文件系统是操作系统提供的磁盘空间管理服务，只需要我们指定把文件放到哪儿，从哪个路径读取文件句可以了，不用关心文件在磁盘上是如何存放的当文件所需空间大于本机磁盘空 ...
分类：
其他好文 时间：
2017-01-08 03:38:25
阅读次数：
182
FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题就是图片、音视频、文件共享的问 ...
分类：
其他好文 时间：
2017-01-05 12:04:12
阅读次数：
320
之前的文章，现在放出来，以供参阅。 一、fastdfs简介 FastDFS是一个轻量级的开源分布式文件系统 FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡 FastDFS实现了软件方式的RAID，可以使用廉价的IDE硬盘进行存储 支持存储服务器在线扩容 支持相同 ...
分类：
其他好文 时间：
2017-01-04 20:14:11
阅读次数：
269
一、mogilefs介绍二、mogilefs原理三、mogilefs架构说明四、mogile安装部署一、mogilefs介绍MogileFS是我们的开源分布式文件系统。其性能和特点包括：(1)应用程序级别-不需要特殊的内核模块。没有单点故障-MogileFS设置的所有三个组件（存储节点，跟踪器和跟踪器的数据库）可以..
分类：
其他好文 时间：
2017-01-02 00:13:13
阅读次数：
1322
随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。相关介绍网上有很多，这里就不做过多介绍了，自己尝试在自己的测试机搭建了一下。Ceph的架构Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算..
分类：
其他好文 时间：
2016-12-30 14:28:16
阅读次数：
697
本文地址 分享提纲： 1.概述 2. 原理 3. 安装 4. 使用 5. 参考文档 1. 概述 1.1）【常见文件系统】 Google了一下，流行的开源分布式文件系统有很多，介绍如下： -- mogileFS：Key-Value型元文件系统，不支持FUSE，应用程序访问它时需要API，主要用在web ...
分类：
其他好文 时间：
2016-12-22 06:40:09
阅读次数：
251
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统，它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序，那么在实际应用中我们如何来操作使用呢？一、HDFS操作方式：1、命令行操作–FsShell：$hdfsdfs2、其他的计算框架-如spark?.
分类：
其他好文 时间：
2016-12-16 23:42:48
阅读次数：
446
fastdfs作者及软件的下载方式：https://github.com/happyfish100FastDFS基础fastdfs是一个开源的，高性能的的分布式文件系统，他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，fastfd非常适用于基于文件服务的站点，例如图片分享和视频分享网站fastfds有两..
分类：
其他好文 时间：
2016-12-16 01:57:12
阅读次数：
294
本博客是为了方便博主自己查看大致流程，不要作为学习参考。环境：centos6.6mfs--master192.168.1.220mfs--metalogger192.168.1.225mfs--chunkserver--11192.168.1.221mfs--chunkserver--22192.168.1.218mfs--client192.168.1.224部署#安装MasterServer（mfs-master）
yuminsta..
分类：
其他好文 时间：
2016-12-15 18:33:15
阅读次数：
267
一、概述 Ceph是一个分布式存储系统，诞生于2004年，最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展，ceph乘上了OpenStack的春风，进而成为了开源社区受关注较高的项目之一。Ceph有以下优势： 1. CRUSH算法 Crush算法是ceph的两大创新之一，简单来说，c ...
分类：
其他好文 时间：
2016-12-15 14:49:50
阅读次数：
279
