MFS分布式文件系统安装配置

时间：2017-07-12 23:27:56 阅读：305 评论：0 收藏：0 [点我收藏+]

标签：mfs 分布式文件系统

一、地址规划

主控服务器MasterServer：192.168.11.100 安装Master角色

元数据日志服务器MetaLoggerServer：192.168.11.103 安装metalogger角色

存储服务器Chunk Server：192.168.11.102 192.168.11.110 安装chunkserver角色

客户端Client：192.168.11.111 安装mfsmount角色和fuse挂载工具

所有节点均配置hosts文件，以便解析mfsmaster

#vi /etc/hosts
192.168.11.100 mfsmaster

二、安装配置mater管理数据服务（192.168.11.100）

1、下载

wget http://sourceforge.net/projects/moosefs/files/moosefs-packages/2.0.60/moosefs-packages-2.0.60-centos.tar.gz

2、创建用户

useradd mfs -s /sbin/nologin

3、安装

#tar -zxvf moosefs-packages-2.0.60-centos.tar.gz -C src/
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
#make && make install

4、mfs配置文件目录

5、生成配置文件

#cp /usr/local/mfs/etc/mfs/mfsmaster.cfg.dist /usr/local/mfs/etc/mfs/mfsmaster.cfg #主配置文件
#cp /usr/local/mfs/etc/mfs/mfsexports.cfg.dist /usr/local/mfs/etc/mfs/mfsexports.cfg #挂载目录和权限配置文件
#cp /usr/local/mfs/etc/mfs/mfstopology.cfg.dist /usr/local/mfs/etc/mfs/mfstopology.cfg #允许chunkserver加入集群配置
#cp /usr/local/mfs/var/mfs/metadata.mfs.empty /usr/local/mfs/var/mfs/metadata.mfs #mfs数据文件

5.1、配置文件详解（配置文件默认使用#注释，如不修改注释的即为默认配置）

5.1.1、配置文件位于安装目录/usr/local/mfs/etc，需要的配置文件有两个：mfsmaster.cfg 和mfsexports.cfg，mfsmaster.cfg 是主配置文件，mfsexports.cfg 是被挂接目录及权限设置。

mfsmaster.cfg为主配置文件

需要注意的是，凡是用#注释掉的变量均使用其默认值。以上是对master server 的mfsmaster.cfg 配置文件的解释，对于这个文件不需要做任何修改就可以工作。

5.1.2、 mfsexports.cfg 是被挂接目录及权限配置文件

注：配置文件共有三个部分。

第一部分：客户端IP地址

第二部分：被挂载的目录

第三部分：客户端拥有的权限

地址可以被指定为以下几种形式

* 所有的ip 地址
n.n.n.n 单个ip 地址
n.n.n.n/b IP 网络地址/位数掩码
n.n.n.n/m.m.m.m IP网络地址/子网掩码
f.f.f.f-t.t.t.t IP段

目录需注意的地方：

/ 表示MooseFS 根;
. 表示MFSMETA 文件系统

权限部分：

ro 只读模式共享
rw 读写的方式共享
alldirs 许挂载任何指定的子目录
maproot 映射为root，还是指定的用户
password 指定客户端密码

5.2、启动master server

/usr/local/mfs/sbin/mfsmater start

注：可能会遇到以下错误

5.2.1、mfstopology.cfg不存在。此配置文件是后期版本加入的。cp /usr/local/mfs/etc/mfs/mfstopology.cfg.dist /usr/local/mfs/etc/mfs/mfstopology.cfg即可解决

2.2.2、metadata.cfg不存在，不能创建数据文件，解决方法：cp /usr/local/mfs/var/mfs/metadata.mfs.empty /usr/local/mfs/var/mfs/metadata.mfs

启动成功后会有如下提示

启动完成后在/usr/local/mfs/var/mfs目录下，之前cp的metadata.mfs配置文件会变成metadata.mfs.back。直到停止服务

停止master服务命令

/usr/local/mfs/sbin/mfsmaster stop

2.2.3、为了监控 MooseFS 当前运行状态，我们可以运行 CGI 监控服务，这样就可以用浏览器查看整个

MooseFS 的运行情况：

# //usr/local/mfs/sbin/mfscgiserv

二、安装配置元数据日志服务（192.168.11.103）

1、创建用户

useradd mfs -s /sbin/nologin

2、编译安装

3、生成配置文件

cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

4、编辑配置文件

vim mfsmetalogger.cfg
###############################################
# RUNTIME OPTIONS #
###############################################
# WORKING_USER = mfs
# WORKING_GROUP = mfs
# SYSLOG_IDENT = mfsmetalogger
# LOCK_MEMORY = 0
# NICE_LEVEL = -19
# FILE_UMASK = 027
# DATA_PATH = /usr/local/mfs/var/mfs
# BACK_LOGS = 50
# BACK_META_KEEP_PREVIOUS = 3
# META_DOWNLOAD_FREQ = 24
###############################################
# MASTER CONNECTION OPTIONS #
###############################################
# MASTER_RECONNECTION_DELAY = 5
MASTER_HOST = 192.168.11.100 #如修改为IP则取消#，如为默认需添加hosts文件
# MASTER_PORT = 9419
# MASTER_TIMEOUT = 10

5、启动mfsmetaloger服务

/usr/local/mfs/sbin/mfsmetalogger start
可能会遇到下面的错误

原因：元数据日志服务器会向master服务器发出mfsmaster的请求。因此需要配置hosts文件
vi /etc/hosts
192.168.11.100 mfsmaster
再次启动

三、安装配置chunkserver数据存储服务器（192.168.11.102 192.168.11.110）

1、创建用户

useradd mfs -s /sbin/nologin

2、编译安装

#tar -zxvf moosefs-packages-2.0.60-centos.tar.gz -C src/
#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --with-default-group=mfs --disable-mfsmaster
#make && make install

配置文件位于安装目录/usr/local/mfs/etc ，需要的配置文件有两个： mfschunkserver.cfg 和mfshdd.cfg，mfschunkserver.cf 是主配置文件，mfshdd.cfg 是服务器用来分配给MFS使用的空间，最好是一个单独的硬盘或者一个raid 卷，最低要求是一个分区。

3、生成配置文件

# cp /usr/local/mfs/etc/mfs/mfschunkserver.cfg.dist /usr/local/mfs/etc/mfs/mfschunkserver.cfg
# cp /usr/local/mfs/etc/mfs/mfshdd.cfg.dist /usr/local/mfs/etc/mfs/mfshdd.cfg

4、编辑mfschunkserver.cfg配置文件

[root@mail etc]# vi mfschunkserver.cfg

# WORKING_USER = mfs
# WORKING_GROUP = mfs
# DATA_PATH = /usr/local/mfs/var/mfs
# LOCK_FILE = /var/run/mfs/mfschunkserver.pid
# SYSLOG_IDENT = mfschunkserver
# BACK_LOGS = 50
# MASTER_RECONNECTION_DELAY = 30
MASTER_HOST = mfsmaster 元数据服务器的名称或地址，可以是主机名，也可以是ip 地址
MASTER_PORT = 9420
# MASTER_TIMEOUT = 60
# CSSERV_LISTEN_HOST = *
# CSSERV_LISTEN_PORT = 9422 这个监听端口用于与其它数据存储服务器间的连接，通常是数据复制
# CSSERV_TIMEOUT = 60
# CSTOCS_TIMEOUT = 60
# HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg 分配给MFS 使用的磁盘空间配置文件的位置

注：需要添加hosts条目 192.168.11.100 mfsmaster

5、创建共享目录，并修改共享配置文件

#mkdir /home/data
#vim /usr/local/mfs/etc/mfs/mfshdd.cfg
/home/data

注：这里的/home/data是给mfs指定的分区，在本机上可以是一个独立的磁盘挂载目录。

需要修改属主为mfs

chown -R mfs:mfs /home/data

6、启动mfschunkserver

启动时可能会遇到下面的错误

原因：乜有对mfs工作目录写入的权限

解决办法：chown -R mfs:mfs /usr/local/mfs/var/mfs。再次启动

7、停止mfschunkserver

/usr/local/mfs/sbin/mfschunkserver stop

四、客户端配置（192.168.11.111）

由于MFS依赖与fuse，所以需要先安装fuse

1、下载fuse

#wget http://sourceforge.net/projects/fuse/files/fuse-2.X/2.9.3/fuse-2.9.3.tar.gz

2、安装

./configure && make && make install

3、导入环境变量

#echo ‘export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH‘ >>/etc/profile
#source /etc/profile

4、安装mfs

4.1、创建用户

useradd mfs -s /sbin/nologin

4.2、编译安装

#tar -zxvf moosefs-packages-2.0.60-centos.tar.gz -C src/
#./configure --prefix=/usr/local/mfs --sysconfdir=/etc --localstatedir=/var/lib --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver
#make && make install

4.3、挂载文件系统

#mkdir /mnt/mfs #创建挂载点
#/usr/local/mfs/bin/mfsmount /mnt/mfs -H mfsmaster或/usr/local/mfs/bin/mfsmount /mnt/mfs -H 192.168.11.100 #挂载

4.4、查看挂载信息