[前言]公司数据迁移后期会使用到MFS,看过很多有关的文章，但大部分都是moosefs安装配置和单点手动备份。经过很长一段时间思考，想将其与keepalived相结合以提高可用性，也就有了我这篇文章。本文以官网最新稳定版moosefs2.0.66-1,和centos6.6，具体思路如下：原理部署思路IP、..
分类：
其他好文 时间：
2015-05-20 18:47:42
阅读次数：
551
FastDFS是一款开源的轻量级分布式文件系统
纯C实现，支持Linux, FreeBSD等UNIX系统
类google FS, 不是通用的文件系统，只能够通过专有API访问，目前提供了C，Java和PHP API
为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性
FastDFS可以看做是基于文件的key-value存储系统，称为分布式文件存储服务更为合适
Fa...
分类：
其他好文 时间：
2015-05-20 13:11:28
阅读次数：
165
大数据定义是：大量的非结构话的数据。量要大，要非结构化。Hadoop分三部分组成，1.hdfshadoop分布式文件系统。2.MapReduce分布式计算。3.hive分布式存储。操作系统：centos6.564环境搭建：1.安装Hadoop，2.安装mysql，3.安装hive，4，安装jdkHadoop安装：下载Hadoop1.0.4，had..
分类：
其他好文 时间：
2015-05-17 23:48:02
阅读次数：
521
hadoop学习过程中难免遇到麻烦，仅保存部分常见错误的消息，以供参考...
分类：
其他好文 时间：
2015-05-15 21:26:30
阅读次数：
176
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和MapReduce，hadoop2.0还包括YARN。下图为hadoop的生态系统：2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论...
分类：
其他好文 时间：
2015-05-14 09:57:51
阅读次数：
211
分布式系统含义分布是指功能分布支持分布式处理的软件系统通俗点说分布式系统就是能把服务器端程序分开部署到多台机器上。可以分开部署的系统。软件系统运行的环境分布在多台服务器上它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。故名思义，分布式系统就是将系统的...
分类：
其他好文 时间：
2015-05-11 21:49:22
阅读次数：
146
总所周知，HBase 是天生就是架设在 HDFS 上，在这个分布式文件系统中，HBase 是怎么去构建自己的目录树的呢？这里只介绍系统级别的目录树。一、0.94-cdh4.2.1版本系统级别的一级目录如下，用户自定义的均在这个/hbase 下的一级子目录下/hbase/-ROOT-/hbase/.....
分类：
其他好文 时间：
2015-05-09 21:50:09
阅读次数：
175
1.Glusterfs简介GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管..
分类：
其他好文 时间：
2015-05-09 20:36:18
阅读次数：
193
1.本文目的通过解析客户端创建文件流程，认知hadoop的HDFS系统的一些功能和概念。2.主要概念2.1 NameNode（NN）：HDFS系统核心组件，负责分布式文件系统的名字空间管理、INode表的文件映射管理。如果不开启备份/故障恢复/Feneration模式，一般的HDFS系统就只有1个NameNode，当然这样是存在单点故障隐患的。NN管理两个核心的表：文件到块序列的映射、块到机器序列的...
分类：
其他好文 时间：
2015-05-08 09:30:01
阅读次数：
142
基础概念rsync同步软件效率不高inotify通知三种集群：LB:loadbalance提高服务器的并发能力HA：高可用highavailability不会因为一台服务器宕机导致服务不可用HP:highperfomence高性能计算集群并行处理集群分布式文件系统将大任务切割为小任务，分别进行处理healthcheck：健康检..
分类：
其他好文 时间：
2015-05-08 00:13:48
阅读次数：
138
