码迷,mamicode.com
首页 > 其他好文 > 详细

分布式文件存储系统 mogilefs 的使用(1)

时间:2015-06-28 06:32:27      阅读:217      评论:0      收藏:0      [点我收藏+]

标签:linux mogilefs nginx mariadb


一、mogilefs简介
       mogilefs是一种分布式存储(不可挂载,通过API调用或专门客户端)的解决方案,可存储海量图片、静态文件。
       mogilefs的相关程序是用perl语言编写,元数据存储在关系型数据库中(国内有人用C语言将mogilefs重写的程序叫做FastDFS,后者的元数据是存储在内存中的)


mogilefs的基本组成结构:
     (1) tracker:追踪器,从database中追踪用户请求数据的元数据
            与客户端通过http协议通信,RESTful风格。
            提供mogilefsd(守护进程),主要职责包括:
                 ① replication:节点间文件的复制
                 ② deletion:删除文件
                 ③ queryworker:响应客户请求的文件元数据访问请求
                 ④ reaper:在存储失败后将文件复制请求重新放置于队列中
                 ⑤ monitor:监测主机和设备的健康状态
  
      (2) database:
              存储mogilefs的元数据(存储数据的内容、大小、存储的节点等非数据内容信息),一般使用MySQL;建议使用冗余方案以保证其可用性(如MMM,MHA)
             mogilefs专门提供了数据结构管理工具mogdbsetup(功用:初始化MySQL、管理元数据)
 
       (3) storage:存储数据,数据副本冗余量默认是2个(可修改)
              mogstored(进程名),一个准备停当的mogstored节点可通过mogadm命令添加至现在的集群中;
              存储节点需要定义“设备(dev)”用作存储空间:每个“设备”在当前集群都需要通过一个唯一的DevID来标识;
        (4)client:
              客户端用于与mogilefs建立通信,完成数据存取;

            技术分享   


mogilefs特性:
         (1)工作于应用层:无需特殊核心组件;
         (2)无单点;
         (3)自动完成文件复制;
           (由tracker指挥storage自动完成)
         (4)传输无需特殊协议(使用http或nfs);
         (5)使用简单名称空间机制来完成复制;
         (6)不在任何节点之间共享任何数据;
         (7)non-RAID
         (8)不能追加写、随机写
         (9)Tracker Client传输(Mogilefsd),管理数据复制、删除、查询、修复以及监控
         (10)数据通过HTTP/WebDAV服务上传到Storage node(mogstored)
         (11)MySQL存储MofileFS元数据(命名空间、位置)

mogilefs所存储数据的存储结构:
         ① domain: name space,命名空间 ,key的名字空间
          一个mogilefs可以有多个domain,是一种路径映射,类似于目录,同一个domain内key(文件名)唯一,不同domain内的key可以相同
          实际应用中可以将不同的类别文件存储在不同的domain中
         ② class: 最小复制单元


    定位文件: 先定位 domain,再定位 fid
    一个domain内 可以有多个class,是最小复制单位、最小调度单元,是多个文件合起来组成的。


本次试验架构:


             技术分享


配置服务顺序:
 node1上安装mariadb-5.5.43-linux-x86_64-->在node1、node2、node3上安装tracker --> 在node1、node2、node3上安装mogstored --> 在node2上安装nginx做反向代理


本次试验只是做mogilefs的练习,未对元数据的存储做高可用。


对mariadb做高可用参考:
http://ctrry.blog.51cto.com/9990018/1658665
参考架构可以如下:


            技术分享


二、mariadb数据库及分区及mogstored专用数据存储分区的准备


(一)准备磁盘分区:


在node1、node2、node3上执行下面创建新分区的步骤:

# fdisk /dev/sda
 ……
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          26      204800   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2              26        7859    62914560   8e  Linux LVM
/dev/sda4            7859       14386    52435161    5  Extended
/dev/sda5            7859        9164    10489414+  8e  Linux LVM          10G
/dev/sda6            9165       10470    10490413+  8e  Linux LVM         10G
# partx -a /dev/sda
# partx -a /dev/sda


# bash mogilefs.sh
 

 #!/bin/bash
 #
 pvcreate /dev/sda5
 vgcreate myvg5 /dev/sda5
 lvcreate -L 10G -n maria myvg5
 mke2fs -t ext4 -L MARIA /dev/myvg5/maria
 mkdir -p /mydata
 mkdir -p /mogstore
 
 pvcreate /dev/sda6
 vgcreate myvg6 /dev/sda6
 lvcreate -L 10G -n mogstore myvg6
 mke2fs -t ext4 -L MOGSTORE /dev/myvg6/mogstore
 
 echo "LABEL=MARIA             /mydata                 ext4    defaults        0 0" >> /etc/fstab
 echo "LABEL=MOGSTORE          /mogstore                  ext4    defaults        0 0" >> /etc/fstab
 
 mount -a
 mount


 
不安装mariadb的节点上可以将少创建一个分区


(二)在node1上安装mariadb

 # lftp 172.16.0.1/pub/Sources/sources/mariadb
 lftp 172.16.0.1:/pub/Sources/sources/mariadb> get mariadb-5.5.43-linux-x86_64.tar.gz

# bash -x mariainstall.sh
脚本内容如下:
 

 #!/bin/bash
 #
 groupadd -r -g 306 mysql
 useradd -r -g mysql -u 306 mysql
 
 tar xf mariadb-5.5.43-linux-x86_64.tar.gz -C /usr/local
 cd /usr/local
 ln -s /usr/local/mariadb-5.5.43-linux-x86_64 mysql
 chown -R root:mysql /usr/local/mysql/*
 
 cd mysql
 mkdir /mydata/data
 ./scripts/mysql_install_db --datadir=/mydata/data  --skip-name-resolve --basedir=/usr/local/mysql --user=mysql
 chown -R mysql:mysql /mydata
 
 cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld
 
 mkdir /etc/mysql
 cp ./support-files/my-large.cnf /etc/mysql/my.cnf
 
 echo "export PATH=/usr/local/mysql/bin:$PATH" > /etc/profile.d/mysqld.sh
 . /etc/profile.d/mysqld.sh
 
 ln -s /usr/local/mysql/include/ /usr/include/mysql
 
 vim /etc/mysql/my.cnf


  添加或修改下面4项:
  

thread_concurrency = 2
  datadir = /mydata/data
  skip_name_resolve = on
  innodb_file_per_table = on


  
# service mysqld start
# /usr/local/mysql/bin/mysql_secure_installation
根据提示操作,第一次是需要输入登录密码,但第一次是没有设置得,直接回车就OK了。


三、安装tracker和mogstored

安装mogilefs有两种方式:
一是自己寻找到mogilefs相应的rpm包安装;
二是连到perl.can网,直接通过“cpan> install module::name”形式自动编译安装。
此次采用rpm包安装。

在教室环境中,下载位置为:
# lftp 172.16.0.1:/pub/Sources/6.x86_64/mogilefs>
MogileFS-Server-2.46-2.el6.noarch.rpm    通行组件
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm 提供tracker
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm 提供mogstored
MogileFS-Utils-2.19-1.el6.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm  客户端调用API做开发时才需要的组件,被其他组件依赖
perl-Net-Netmask-1.9015-8.el6.noarch.rpm  实现机架感知能力组件
perl-Perlbal-1.78-1.el6.noarch.rpm  被依赖组件

下载后下面的程序包并全部安装:

[root@node1 mogilefs]# lsMogileFS-Server-2.46-2.el6.noarch.rpm  perl-MogileFS-Client-1.14-1.el6.noarch.rpm  MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm  perl-Net-Netmask-1.9015-8.el6.noarch.rpm  MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm  perl-Perlbal-1.78-1.el6.noarch.rpm  MogileFS-Utils-2.19-1.el6.noarch.rpm
[root@node1 mogilefs]# yum localinstall -y --nogpgcheck *.rpm
……
Installed:  MogileFS-Server.noarch 0:2.46-2.el6   MogileFS-Server-mogilefsd.noarch 0:2.46-2.el6      MogileFS-Server-mogstored.noarch 0:2.46-2.el6   MogileFS-Utils.noarch 0:2.19-1.el6      perl-MogileFS-Client.noarch 0:1.14-1.el6     perl-Net-Netmask.noarch 0:1.9015-8.el6    perl-Perlbal.noarch 0:1.78-1.el6                        
Dependency Installed:  perl-BSD-Resource.x86_64 0:1.29.03-3.el6      perl-DBD-MySQL.x86_64 0:4.013-3.el6      perl-Danga-Socket.noarch 0:1.61-5.el6     perl-IO-stringy.noarch 0:2.110-10.1.el6      perl-Sys-Syscall.noarch 0:0.23-1.el6                    
Complete!

在mogstored的节点上都需要安装上perl-IO-AIO程序包,这是被隐式依赖的包:
[root@node1 mogilefs]# yum install -y perl-IO-AIO

……
Installed:  perl-IO-AIO.x86_64 0:3.71-2.el6                                                                                      
Dependency Installed:  perl-common-sense.noarch 0:3.5-1.el6                                                                                 
Complete!

在node2和node3上也做 同样安装。
生成文件说明:
[root@node1 mogilefs]# rpm -ql MogileFS-Server

(contains no files)


[root@node1 mogilefs]# rpm -ql MogileFS-Server-mogilefsd

/etc/mogilefs/mogilefsd.conf  #tracker的配置文件
/etc/rc.d/init.d/mogilefsd #tracker服务脚本
/usr/bin/mogdbsetup # 初始化mariadb数据库的程序文件
/usr/bin/mogilefsd  #主程序文件
/usr/share/man/man1/mogilefsd.1.gz  #各种帮助文档文件
/usr/share/man/man3/MogileFS::Checksum.3pm.gz
……
/usr/share/perl5/vendor_perl/MogileFS/Checksum.pm  #各种相关的库文件
/usr/share/perl5/vendor_perl/MogileFS/Class.pm
……
/usr/share/perl5/vendor_perl/MogileFS/makedocs.pl
/var/run/mogilefsd   #运行时临时文件存放位置,如pid文件


[root@node1 mogilefs]# rpm -ql MogileFS-Utils

/usr/bin/mogadm # 对mogilefs做全面管理的程序,如健康检测、查看状态、主机管理、设备管理、domain管理、class管理、从节点管理、文件系统管理、数据均衡管理、设置mogilefs工作特性
/usr/bin/mogdelete #删除文件工具
/usr/bin/mogfetch #下载文件工具
/usr/bin/mogfiledebug
/usr/bin/mogfileinfo
/usr/bin/moglistfids # 列出所有fid文件工具
/usr/bin/moglistkeys
/usr/bin/mogrename #重命名工具
/usr/bin/mogstats # 
/usr/bin/mogtool
/usr/bin/mogupload #上传文件工具
/usr/share/man/man1/mogadm.1.gz # 各种帮助文档
……
/usr/share/man/man3/MogileFS::Utils.3pm.gz
/usr/share/perl5/MogileFS/Utils.pm # 所用到的模块文件

[root@node1 mogilefs]# rpm -ql MogileFS-Server-mogstored

/etc/mogilefs/mogstored.conf #配置文件
/etc/rc.d/init.d/mogstored  # 服务脚本
/usr/bin/mogautomount # 自动挂载程序
/usr/bin/mogstored #守护进程程序
/usr/share/man/man1/mogautomount.1.gz
/usr/share/man/man1/mogstored.1.gz
/usr/share/perl5/vendor_perl/Mogstored/ChildProcess #大量模块文件
/usr/share/perl5/vendor_perl/Mogstored/ChildProcess.pm
……
/usr/share/perl5/vendor_perl/Mogstored/TaskQueue.pm


[root@node1 mogilefs]# rpm -ql perl-MogileFS-Client

/usr/share/man #帮助文档
/usr/share/man/man3
/usr/share/man/man3/MogileFS::Client.3pm.gz
/usr/share/perl5/MogileFS/Admin.pm #提供所需的库文档
/usr/share/perl5/MogileFS/Backend.pm
/usr/share/perl5/MogileFS/Client.pm
/usr/share/perl5/MogileFS/ClientHTTPFile.pm
/usr/share/perl5/MogileFS/NewHTTPFile.pm

[root@node1 mogilefs]# rpm -ql perl-Perlbal

/usr/share/man/man3 # 提供大量帮助文档
……
/usr/share/man/man3/Perlbal::Util.3pm.gz
/usr/share/perl5/Perlbal.pm  # 提供大量模块文件
/usr/share/perl5/Perlbal/AIO.pm
……
/usr/share/perl5/Perlbal/ManageCommand.pm
/usr/share/perl5/Perlbal/Manual
/usr/share/perl5/Perlbal/Manual.pod
/usr/share/perl5/Perlbal/Manual/Configuration.pod
……
/usr/share/perl5/Perlbal/Manual/WebServer.pod
/usr/share/perl5/Perlbal/Plugin
/usr/share/perl5/Perlbal/Plugin/AccessControl.pm
……
/usr/share/perl5/Perlbal/Plugin/XFFExtras.pm
/usr/share/perl5/Perlbal/Pool.pm
/usr/share/perl5/Perlbal/ReproxyManager.pm
/usr/share/perl5/Perlbal/Service.pm
/usr/share/perl5/Perlbal/Socket.pm
/usr/share/perl5/Perlbal/SocketSSL.pm
/usr/share/perl5/Perlbal/TCPListener.pm
/usr/share/perl5/Perlbal/Test
/usr/share/perl5/Perlbal/Test.pm
/usr/share/perl5/Perlbal/Test/WebClient.pm
/usr/share/perl5/Perlbal/Test/WebServer.pm
/usr/share/perl5/Perlbal/UploadListener.pm
/usr/share/perl5/Perlbal/Util.pm

四、tracker配置


tracker配置之前需要先配置好mariadb的对用户的授权,然后对数据库做初始化。
(一)数据库授权

[root@node1 ~]# mysql -uroot -h127.0.0.1 -p

Enter password: 

MariaDB [(none)]> grant all on *.* to ‘root‘@‘172.16.20.%‘ identified by ‘123‘ with grant option;
Query OK, 0 rows affected (0.42 sec)

MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.07 sec)

MariaDB [(none)]> \q

(二)初始化数据库
    

     查看帮助说明
[root@node1 ~]# mogdbsetup --help


根据自己需要选择参数,初始化数据库:
[root@node1 ~]# mogdbsetup --dbhost=172.16.20.50 --dbrootuser=root --dbrootpass=123 --dbname=mogdb --dbuser=moguser --dbpass=mogpass --yes
其中dbhost是远程主机的IP地址(需要远程主机设定了skip-name-resolve),dbroot和dbrootpass是远程主机的授权的允许远程登录数据库的账号和密码(上面刚授权的),dbname、dbuserdbpass是我们这次初始化需要创建的存储元数据的新数据库名称、使用用户、使用密码。


查看初始化创建的数据库:

# mysql -umoguser -h172.16.20.50 -p


            技术分享


(三)修改配置文件


[root@node1 ~]# cp /etc/mogilefs/mogilefsd.conf{,.bak}
[root@node1 ~]# vim /etc/mogilefs/mogilefsd.conf
 

# Enable daemon mode to work in background and use syslog采用守护进程模式运行于后台并使用syslog:
 daemonize = 1
 # Where to store the pid of the daemon (must be the same in the init script)
 pidfile = /var/run/mogilefsd/mogilefsd.pid
 # Database connection information
 # db_dsn = DBI:数据库类型:元数据数据库名:所在主机IP
 db_dsn = DBI:mysql:mogdb:host=172.16.20.50
 db_user = moguser
 db_pass = mogpass
 # IP:PORT to listen on for mogilefs client requests
 listen = 172.16.20.50:7001
 # Optional, if you don‘t define the port above.
 conf_port = 7001
 # 默认启动时的查询线程数,根据需要修改
 query_jobs = 10
 # 默认启动时的删除线程数,根据需要修改
 delete_jobs = 2
 # 默认启动时的复制线程数,根据需要修改
 replicate_jobs = 5
 # 默认启动时的reaper线程数,这个数值是不需要修改的
 # (you don‘t usually need to increase this)
 reaper_jobs = 1
 ……
 # Allow replication to use the secondary node get port,
 # if you have apache or similar configured for GET‘s
 #repl_use_get_port = 1  这个是有主从复制时需要设置的参数


      启动服务:
 [root@node1 ~]# service mogilefsd start
 Starting mogilefsd                                         [  OK  ]
 [root@node1 ~]# ss -tnl | grep 7001
 LISTEN     0      128            172.16.20.50:7001                     *:*   

五、mogstored的配置


(一)三个mogstored节点提供dev目录


[root@node1 mogilefs]# mkdir /mogstore/dev1
[root@node2 mogilefs]# mkdir /mogstore/dev2
[root@node3 mogilefs]# mkdir /mogstore/dev3


(二)三个节点上都修改mogstored的配置文件:


        只需要修改最后一行的文件存储位置为新建分区即可
# vim /etc/mogilefs/mogstored.conf

maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /mogstore


        修改好配置文件后,查看是否能正常启动服务:
# service mogstored start

Starting mogstored                                         [  OK  ]


# ss -tnl | grep "750"

LISTEN     0      128                       *:7500                     *:*     
LISTEN     0      128                       *:7501                     *:*





分布式文件存储系统 mogilefs 的使用(1)

标签:linux mogilefs nginx mariadb

原文地址:http://ctrry.blog.51cto.com/9990018/1668599

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!