mogilefs-企业级分布式存储应用与实战

标签：linux   mogilefs   分布式存储   

项目场景：

公司已经有了大量沉淀用户，为了让这些沉淀用户长期使用公司平台，公司决定增加用户粘性，逐步发展基于社交属性的多样化业务模式，决定开展用户讨论区、卖家秀、买家秀、用户试穿短视频等业务，因此，公司新的业务的业务特征将需要海量数据存储，要求基于开源技术，实现对公司海量存储业务的技术研究和实现。

项目分析：

 Web 2.0 时代的到来，使得单个计算机节点远远无法满足用户对海量数据和应用程序运行空间的需求。个人和企业都有安全而持久的存储信息的需求，备份成为最通俗的手段。个人用户通过保存多个拷贝的形式实现信息存储的安全，但如果多个拷贝都失去，那么就崩溃了。存储需要保持实时读写，提供复杂的查询功能，缺乏容灾和备份能力，大量无结构的数据的存储和处理，对传统的存储方式提出挑战。

 分布式存储，就是将数据信息分散存储，在网络发达的现代，这种存储利用多台存储服务器，部署简单化，操作智能化，稳定、可靠、易扩展。然而虽然缓解了问题，但依然存在的难点与挑战。例如：节点间通信、数据存储、数据空间平衡、容错、文件系统支持等一系列问题仍处在不断摸索和完善中。

MogileFS是一个开源的分布式文件存储系统， 目前使用MogileFS 的公司非常多。Mogilefs具有以下特性：

1、支持多节点冗余

2、可实现自动的文件复制

3、使用名称空间（命名空间），每个文件通过key来确定

   比如：123.jpg /000/000/00/01/md5hash.fid  前者是key，后者是真实的存储文件名

  4、不需要RAID,应用层可以直接实现RAID

  5、工作于应用层，没有特殊的组件要求

  6、不共享任何数据，通过“集群”接口提供服务。MogileFS不需要依靠昂贵的SAN来共享磁盘，每个机器只用维护好自己的磁盘。

  Mogilefs架构：

mogileFS主要由三部分构成：tracker节点，database节点，storage节点。

   每次文件的上传和读取，都经过前端TrackerServer服务器，trackerServer服务器收到client端的请求，查询数据库，返回一个上传或者是读取的可用的后端StorageServer的地址，然后由client端直接操作后端StorageServer服务器。

项目环境：

    mysql+tracker服务器：ip 172.17.13.136

    storage node1主机:        ip 172.17.13.134

   storage node2主机:        ip 172.17.13.135

项目实现：

一、所有节点都安装perl相关包：

yum install perl-Net-Netmask perl-IO-String perl-Sys-Syslog perl-IO-AIO

mkdir ~/mogilefs 创建一个目录用来存放下面需要安装的rpm包

cd ~/mogilefs

lftp 172.17.0.1  连接服务器下载rpm包

>cd /pub/Sources/7.x86_64/mogilefs/

>mget *

>exit

yum localinstall ./* 安装

本地安装的rpm包有：ls ~/mogilefs

MogileFS-Server-2.46-2.el6.noarch.rpm        #核心服务

perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm     #socket

MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm  # tracker节点

perl-MogileFS-Client-1.14-1.el6.noarch.rpm    #客户端

MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm  #Storage存储节点

MogileFS-Utils-2.19-1.el6.noarch.rpm   #主要是MogileFS的一些管理工具，例如mogadm等。

perl-Perlbal-1.78-1.el6.noarch.rpm

二、在mysql+tracker服务器操作:

1、安装数据库并启动服务

yum install mariadb-server

systemctl start mariadb

2、创建数据库并授权用户

【mysql -uroot -p   也可以不用授权，下面的命令会自动创建数据库和授权用户

>GRANT ALL PRIVILEGES ON modilefs.* TO 'mogile' @'127.0.0.1' IDENTIFIED BY 'mogile' WITH GRANT OPTION;  

>flush priveleges;】此步骤可省略

mogdbsetup --dbpass=123456  设置mogile用户密码，此命令会创建数据库mogilefs和授权用户mogile

3、修改mogilefs配置文件并启动服务

①vim /etc/mogilefs/mogilefsd.conf

  改用户名密码：

    db_user = mogile

    db_pass = 123456

  监听端口为本机网卡的ip

    listen = 172.17.13.136:7001

②vim /etc/mogilefs/mogilefs.conf

     trackers = 172.17.13.136:7001 避免每次在命令行执行命令都需要指定--tracker,即以下命令中的--tracker可以省略

③启动服务

/etc/init.d/mogilefsd start   [如果是perl安装，那么启动时需切换到普通用户mogilfs]

4、检查

mogadm --tracker=172.17.13.136:7001 check

三、在storage1和storage2主机上操作:

1、创建工作目录并修改权限

mkdir -p /data/mogdata   

chown -R mogilefs.mogilefs /data/mogdata

2、修改配置文件并启动服务   

vim /etc/mogilefs/mogstored.conf

  工作目录：docroot = /data/mogdata

/etc/init.d/mogstored start 启动服务

四、在mysql+tracker服务器操作:

1、将上面准备的两个节点加入：  

mogadm --tracker=172.17.13.136:7001 host add nod1 --ip=172.17.13.134 --port=7500 --status=alive 

mogadm --tracker=172.17.13.136:7001 host add nod2 --ip=172.17.13.135 --port=7500 --status=alive

如果不小心写错ip或者状态了，可以使用下面的命令进行修改：

mogadm --tracker=172.17.13.136:7001 host modify nod1 --ip=xxx.xxx.xxx.xxx --status=xxx

2、检查

mogadm --tracker=172.17.13.136:7001 check 或者

mogadm --tracker=172.17.13.136:7001 host list

五、在storeage1及storeage2主机操作：

创建块设备目录并且修改权限

storeage1：

mkdir /data/mogdata/dev1；chown mogilefs.mogilefs -R /data/mogdata/dev1

storeage2:

mkdir /data/mogdata/dev2;chown mogilefs.mogilefs -R /data/mogdata/dev2

六、在mysql+tracker服务器操作:

1、将上面的两个块设备加入：

mogadm --tracker=172.17.13.136:7001 device add nod1 1

mogadm --tracker=172.17.13.136:7001 device add nod2 2

2、查看加入的设备信息

mogadm device list 

也可以在数据库中查看信息：

mysql mysql -uroot -p

>use mogilfs;

>select * from device;

>select * from host;

3、添加域：mogadm domain add img  这里添加的是img域

列出域：mogadm domain list 

4、在"域"中建"类",并设置最小保存份数，即副本数

mogadm class add img c29 --mindevcount=3 表示在img域中创建c29类，最小副本数为3

七、所有机器上操作：

1、安装perl相关包

yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes

2、下载Sys-Syscall-0.23.tar.gz包，并且实现自动复制

①cd /tmp;wget http://search.cpan.org/CPAN/authors/id/B/BR/BRADFITZ/Sys-Syscall-0.23.tar.gz

②解包:tar xvf Sys-Syscall-0.23.tar.gz

③编译安装：cd Sys-Syscall-0.23/;perl Makefile.PL&&make install

④重启mogilefs服务（stop、start报错无所谓，查看端口已经开启即可）：

tracker+mysql服务器操作:

    /etc/init.d/mogilefsd stop

    /etc/init.d/mogilefsd start

 所有机器操作：

     /etc/init.d/mogstored stop

     /etc/init.d/mogstored start

项目最终实现效果：

在Tracker+mysql服务器操作:上传文件，不指定类就上传至default类

mogupload --domain=img --key=photo [--class=c29] --file=2345_image_file_copy_2.jpg

mogfileinfo --domain=img --key=photo 查询文件

访问以下url都可显示出图片:

    http://172.17.13.135:7500/dev2/0/000/000/0000000005.fid

    http://172.17.13.134:7500/dev1/0/000/000/0000000005.fid

mogilefs-企业级分布式存储应用与实战

标签：linux   mogilefs   分布式存储   

原文地址：http://blog.51cto.com/13150617/2046600