标签：moosefs分布式文件系统+keepalived高可用+unison和intoify实时双机同步（三）
Unison是Windows、Linux以及其他Unix平台下都可以使用的文件同步工具，它能使两个文件夹（本地或网络上的）保持内容的一致。Unison拥有与其它一些同步工具或文件系统的相同的特性，但也有自身的特点：
1.跨平台使用；
2.对内核和用户权限没有特别要求；
3.Unison是双向的，它能自动处理两分拷贝中更新没有冲突的部分，有冲突的部分将会显示出来让用户选择更新策略；
4.只要是能连通的两台主机，就可以运行unison，可以直接使用socket连接或安全的ssh连接方式，对带宽的要求不高，使用类似rsync的压缩传输协议。
我们需要在主机192.168.1.237和备机192.168.1.236上分别安装unison
1、安装ocaml
在Linux下通过源码安装unison的时候，需要首先安装一个名为objective caml compiler的工具，ocaml的版本应至少为3.0.7或者更高。
Ocaml下载地址 http://caml.inria.fr/pub/distrib/
Unison下载地址http://www.seas.upenn.edu/~bcpierce/unison//download/releases/
这里选择ocaml版本为ocaml-3.12.0
[root@server1~]# tar -xzvf ocaml-3.12.0.tar.gz
[root@server1~]# cd ocaml-3.12.0
[root@server1ocaml-3.12.0]# ./configure
[root@server1ocaml-3.12.0]# make world opt
[root@server1ocaml-3.12.0]# make install
1、 安装unison
[root@server1 ~]# tar -xzvfunison-2.40.63.tar.gz
[root@server1 ~]# cdunison-2.40.63
[root@server1 unison-2.40.63]#make UISTYLE=text
[root@server1unison-2.40.63]# make install
注意：在执行make install的过程中，可能会出现以下错误提示：
mv: cannot stat ‘/root/bin//unison‘: No such file or directory
make: [doinstall] Error 1 (ignored)
cp unison /root/bin/
cp: cannot create regular file ‘/root/bin/‘: Is a directory
make: *** [doinstall] Error 1
出现错误的原因在与Unison默认是将文件Copy到/root/bin目录，但Linux默认是没有该目录的，因此我们需要将生成的可执行文件unison复制到系统的PATH目录。
[root@server1 unison-2.40.63]# cp unison /usr/local/bin 然后再执行make install
我们要配置非root用户下的普通用户的ssh双机信任。这里我们使用安装mfs文件系统的时的mfs用户
在两台服务器上创建unison用户,主机server1的IP为192.168.1.237，备机server2的IP为192.168.1.236
[root@server1~]# useradd -m mfs
[root@server1~]# passwd mfs
[root@server2~]# useradd -m mfs
[root@server2~]# passwd mfs
在server1上创建key并配置server2的信任
[root@server1~]# su - mfs
[unison@server1~]$ ssh-keygen -t rsa
在提示保存私钥（key）和公钥（public key）的位置时，使用默认值；
在提示是否需要私钥密码（passphrase）时，直接敲回车，即不使用私钥密码。
之后，将生成一对密钥，id_rsa（私钥文件）和id_rsa.pub（公钥文件），保存在/home/unison/.ssh/目录下。
将公钥添加到server2的 authorized_keys 文件中
[unison@server1~]$ cd /home/mfs/.ssh/
[unison@server1~]$ ssh 192.168.1.237 cat /home/mfs/.ssh/id_rsa.pub >> authorized_keys
[unison@server1~]$ ssh 192.168.1.236 cat /home/mfs/.ssh/id_rsa.pub >> authorized_keys
[unison@server1~]$ scp authorized_keys 192.168.1.236:/home/mfs/.ssh/
两台机器上都执行chmod600 /home/mfs/.ssh/authorized_keys，这个文件的权限一定要是600，至于为什么，你知道的！！！
然后分别在两台机器上执行：
[unison@server1~]$ ssh 192.168.1.237 date
[unison@server1~]$ ssh 192.168.1.236 date
在第一次执行时，会要求输入用户密码信息，再次执行时不需要输入密码就能显示系统日期，这说明ssh互相信任成功，在正式环境中，我们需要使用mfs这个用户，而不是unison用户。
注意：如果主备机更换了IP或者使用其他用户名用来同步，则需要重新配置ssh双机信任。否则同步无法使用。
在正式使用unison之前最好测试一下，测试过之后它会自动在普通用户的家目录生成一个.unison的隐藏目录，这个隐藏目录里有三类文件，一种是随机命名的文件，记录文件同步实时信息，内容较少。default.prf默认配置文件，我们后面需要修改。unison.log记录所有同步事件。
在两台服务器上创建test目录，用于测试
[root@server1~]# su - mfs
[unison@server1~]$ mkdir test
[root@server2~]# su - mfs
[unison@server2~]$ mkdir test
在两台服务器上分别执行一次unison，如果出现提示确认，则直接敲回车选择默认值
需要说明的是：两台机器上需要同步的文件夹最好权限都是一样的，不然会出现错误信息。
[unison@server1~]$unison/home/mfs/test/ ssh://unison@192.168.1.236//home/mfs/test/
[unison@server2~]$unison/home/mfs/test/ ssh://unison@192.168.1.237//home/mfs/test/
注意事项：如果出现
bash：unisoncommand not found
Fatal error:Lost connection with the server
查看你的unison命令是否是系统的可执行命令，如果不是，加入到系统路径中。在上面的命令末尾加入参数-servercmd=/usr/local/bin/unison来告诉unison命令的位置。
如果正式使用的话，我们需要通过配置文件来使用unison。
修改两台服务器的unison配置文件，输入以下内容
[unison@server1~]$ vim /home/mfs/.unison/default.prf
#Unison preferences file
#force=/home/unison/test local->remote
root=/usr/local/mfs/var/mfs
root=ssh://mfs@192.168.1.236//usr/local/mfs/var/mfs
#path=aaa
#path=bbb
batch=true
#maxthreads=300
owner=true
group=true
perms=-1
fastcheck=false
rsync=false
sshargs=-C
xferbycopying=true
confirmbigdel=false
log=true
logfile=/home/mfs/.unison/unison.log
[unison@server2~]$ vim /home/mfs/.unison/default.prf
#Unison preferences file
#force=/home/unison/test local->remote
root=/usr/local/mfs/var/mfs
root=ssh://mfs@192.168.1.237//usr/local/mfs/var/mfs
#path=aaa
#path=bbb
batch=true
#maxthreads=300
owner=true
group=true
perms=-1
fastcheck=false
rsync=false
sshargs=-C
xferbycopying=true
confirmbigdel=false
log=true
logfile=/home/mfs/.unison/unison.log
相关注解如下：
两个root表示需要同步的文件夹。
force表示会以本地所指定文件夹为标准，将该目录同步到远端。这里需要注意，如果指定了force参数，那么Unison就变成了单项同步了，也就是说会以force指定的文件夹为准进行同步，类似与rsync。
ignore = Path表示忽略指定目录，即同步时不同步它。
batch = true，表示全自动模式，接受缺省动作，并执行。
-fastcheck true 表示同步时仅通过文件的创建时间来比较，如果选项为false，Unison则将比较两地文件的内容。
log = true 表示在终端输出运行信息。
logfile 指定输出的log文件。
另外，Unison有很多参数，这里仅介绍常用的几个，详细的请参看Unison手册。
-auto //接受缺省的动作，然后等待用户确认是否执行。
-batch //batch mode, 全自动模式，接受缺省动作，并执行。
-ignore xxx //增加 xxx 到忽略列表中
-ignorecase [true|false|default] //是否忽略文件名大小写
-follow xxx //是否支持对符号连接指向内容的同步
owner = true //保持同步过来的文件属主
group = true //保持同步过来的文件组信息
perms = -1 //保持同步过来的文件读写权限
repeat = 1 //间隔1秒后,开始新的一次同步检查
retry = 3 //失败重试
sshargs = -C //使用ssh的压缩传输方式
xferbycopying = true"
-immutable xxx //不变目录，扫描时可以忽略
-silent //安静模式
-times //同步修改时间
-path xxx 参数 //只同步 -path 参数指定的子目录以及文件，而非整个目录，-path 可以多次出现。
confirmbigdel = false #true表示当需要同步的两个目录一个为空时，unison将停止 false表示同步的某个目录为空时不会停止运转
PS：Windows下的unison配置文件默认位于C:\Documentsand Settings\currentuser\.unison目录，默认的配置文件名是default.prf。
Unison双向同步基本原理是：假如有A B两个文件夹，A文件夹把自己的改动同步到B，B文件夹也把自己的改动同步到A，最后A B两文件夹的内容相同，是AB文件夹的合集。
Unison双向同步的一个缺点是，对于一个文件在两个同步文件夹中都被修改时，unison是不会去同步的，因为unison无法判断以那个为准，需要人工指定。
首先分别在server1与server2的/usr/local/mfs/var/mfs目录下创建文件或目录，然后在server1上执行unison，接着如果在server1与server2上都能看到各自创建的文件，就说明同步成功。
分别在server1与server2上创建文件
[unison@server1~]$ cd /usr/local/mfs/var/mfs
[unison@server1test]$ touch 1.txt touch 3.txt
[unison@server2~]$ cd /usr/local/mfs/var/mfs
[unison@server2test]$ touch 2.txt touch 4.txt
在server1上执行unison
[unison@server1~]$ unison
在server1与server2上查看文件是否同步
[unison@server1~]$ cd /usr/local/mfs/var/mfs
[unison@server1test]$ ls
1.txt2.txt 3.txt 4.txt
[unison@server2~]$ cd /usr/local/mfs/var/mfs
[unison@server2test]$ ls
1.txt2.txt 3.txt 4.txt
均看到了“1.txt 2.txt 3.txt4.txt”所有文件，说明文件同步已经成功！
考虑到unison的双向同步性，我们不可能使用日常调度来执行unison同步，所以加入监控机制inotify。
1、查看系统是否支持inotify
[unison@server1~]# ls -l /proc/sys/fs/inotify
total0
-rw-r--r--1 root root 0 Nov 11 11:25 max_queued_events
-rw-r--r--1 root root 0 Nov 11 11:25 max_user_instances
-rw-r--r--1 root root 0 Nov 11 11:25 max_user_watches
则说明支持inotify.
inotify可以监视的文件系统事件包括：
IN_ACCESS，即文件被访问
IN_MODIFY，文件被 write
IN_ATTRIB，文件属性被修改，如 chmod、chown、touch 等
IN_CLOSE_WRITE，可写文件被 close
IN_CLOSE_NOWRITE，不可写文件被 close
IN_OPEN，文件被 open
IN_MOVED_FROM，文件被移走,如 mv
IN_MOVED_TO，文件被移来，如 mv、cp
IN_CREATE，创建新文件
IN_DELETE，文件被删除，如 rm
IN_DELETE_SELF，自删除，即一个可执行文件在执行时删除自己
2、安装inotify
[unison@server1~]# tar -zxvf inotify-tools-3.14.tar.gz
[unison@server1~]# cd inotify-tools-3.14
[root@server1 ~ inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify
[root@server1 ~ inotify-tools-3.14]# make && make install
可能出现的问题：
Please increase the amount of inotify watches allowed per user via`/proc/sys/fs/inotify/max_user_watches‘.
cat一下这个文件，默认值是8192，
echo 8192000 >> /proc/sys/fs/inotify/max_user_watches
我们增大一下线程即可~，这样加入后重启后没了，需要加入开机启动中。
2、 编写inotify实时监控脚本
[unison@server1~]# vim unison.sh
#!/bin/bash
DESTHOST=192.168.1.56
DESTHOSTDIR=/home/unison/test
SRCDIR=/home/unison/test
/usr/local/inotify/bin/inotifywait-mrq --timefmt ‘%d/%m/%y %H:%M‘ --format‘%T %w %f‘ -e create,delete,modify,move$SRCDIR | while read files
do
unison-servercmd=/usr/local/bin/unison
done
chmod755 unison.sh, 按同样方法在server2安装inotify和编写同步脚本
3、 分别在server1和server2的unison用户下让脚本在后台运行
[unison@server1 ~]$ nohup./unison.sh &
[unison@server2 ~]$nohup ./unison.sh &
在正式环境中，只在主机上执行了nohup./unison.sh &，备机不用执行，这样也是可以的，如果主机发生故障，切换到备机上，备机开始工作，数据读写记录到metadata里，当主机恢复后，备机工作那段时间内所记录的数据可能不会马上同步过来，不过不用担心，这部分数据不会丢失，只要有新数据在mfs客户端写入或者主机有变化之后，备机上那部分数据就会自动同步过来。这样在主机上执行unison同步的方式，可能会导致在故障情况下数据的不及时性，为了同步更加及时，建议主备机上都执行unison同步。
Unison因为是双向同步，必然有它的弊端，如果发生意外故障，破坏了同步目录里面的文件，那么会影响正常业务的使用的，所以做好同步目录的数据备份是很重要的。
1、当主机故障时，自动切换到备机，备机正常启动了mfsmaster而且没有数据丢失。但是在恢复主机mfsmaster时，提示由于缺少metadata.mfs造成无法启动，这时我们可以在主机执行恢复性操作，让它自动产生metadata.mfs，具体方法为使用/usr/local/mfs/sbin/mfsmaster -a 就可以启动mfsmaster,而且数据不会丢失。这是和先前的mfs1.6.27版本的恢复方式不一样的地方。
2、在同步相同文件时，如果该文件被锁定（比如mfsmaster启动时的.lock文件）或者是同时修改，unison不会对该文件进行同步，会自动跳过。
1、需在被监控机上需要安装好nagios-plugins和nrpe，我们直接编辑一个check_mfs的脚本，编写完把这个脚本复制到/usr/local/nagios/libexec/下，并赋权755，内容如下：
#!/bin/bash
#a nagios plugin for checkmoosefs healthy
CHECK_OK=0
CHECK_WARNING=1
CHECK_CRITICAL=2
CHECK_UNKNOWN=3
CHECK_MASTER () {
check_process=`psaux|grep ‘/usr/local/mfs/sbin/mfsmaster‘|grep -v grep`
check_port=`netstat-lunpt|grep ‘:9419‘`
if [ -n"$check_process" -a -n "$check_port" ]
then
echo "mfsmasteris OK"
exit 0
else
echo "mfsmasteris not running"
exit 2
fi
}
CHECK_CHUNK () {
check_process=`psaux|grep ‘/usr/local/mfs/sbin/mfschunkserver‘|grep -v grep`
check_port=`netstat-lunpt|grep ‘:9422‘`
if [ -n"$check_process" -a -n "$check_port" ]
then
echo"mfschunkserver is OK"
exit 0
else
echo"mfschunkserver is not running"
exit 2
fi
}
CHECK_CLIENT () {
check_process=`psaux|grep ‘/usr/local/mfs/bin/mfsmount‘|grep -v grep`
if [ -n"$check_process" ]
then
echo "mfsclientis OK"
exit 0
else
echo "mfsclientis not running"
exit 2
fi
}
CHECK_METALOGGER () {
check_process=`psaux|grep ‘/usr/local/mfs/sbin/mfsmetalogger‘|grep -v grep`
if [ -n"$check_process" ]
then
echo"mfschunkserver is OK"
exit 0
else
echo"mfschunkserver is not running"
exit 2
fi
}
case "$1" in
-M)
CHECK_MASTER
;;
-c)
CHECK_CLIENT
;;
-C)
CHECK_CHUNK
;;
-L)
CHECK_METALOGGER
;;
*)
echo "Unknownargement: $1"
;;
esac
2、nrpe安装目录中添加命令
在master服务器nrpe配置文件中添加监控
command[check_mfs]=/usr/local/nagios/libexec/check_mfs –M
在chunkserver中nrpe配置文件中添加监控
command[check_mfs]=/usr/local/nagios/libexec/check_mfs –c
在mfsclient中的nrpe配置文件中添加监控
command[check_mfs]=/usr/local/nagios/libexec/check_mfs –C
3、最后在nagios上添加服务和主机即可。
另外，由于192.168.1.134这台服务器，即是chunkserver又是mfsclient，而且chunkserver所分配的空间是最小的为440GiB，所以还需要单独对chunkserver所占用空间进行单独监控。在134上的nrpe配置文件中加入:
command[check_chunkserverdata_34]=/usr/local/nagios/libexec/check_disk-w 30% -c 20% -p /databak/
一、本机备份脚本
这个相对来说很简单，不过要说明两点：
1、 在本机，备份打包的文件不要放在同步目录里。
2、 备份时间最好不要是每天的整点，因为整点的时候，正好是changelog归纳到metadata最为繁忙的时候，通过cacti流量可以看出。
#!/bin/bash
rq=`date +"%Y%m%d"`
rq1=` date "-d 7 day ago" "+%Y%m%d"`
cp -r /usr/local/mfs/var/mfs/*/mfsdata_backup/mfsdata
cd /mfsdata_backup/mfsdata
tar -zcf mfsdata.$rq.tar.gz *
mv/mfsdata_backup/mfsdata/mfsdata.$rq.tar.gz /mfsdata_backup
chown -R ftpuser.ftpuser/mfsdata_backup/mfsdata.$rq.tar.gz
rm -rf /mfsdata_backup/mfsdata/*
FILESIZE_MFSBUCKUP=`du -sh/mfsdata_backup/mfsdata.$rq.tar.gz | awk ‘{print $1}‘ `
echo "`date +"%Y%m%d"` "MfsMetaData sizeis" $FILESIZE_MFSBUCKUP " >> /check_mfsdatalog/mfsmeta-size.log
rm -rf /mfsdata_backup/mfsdata.$rq1.tar.gz
二、远程拷贝脚本
因为mfs备机空间不足，需要远程拷贝到其他机器上。
#!/bin/bash
rq=`date +%Y%m%d`
rq1=` date "-d 3 day ago""+%Y%m%d" `
rm_ipAddr=192.168.1.236
host_id="remote236"
runName=$host_id.sh
echo "#!/usr/bin/expect" >/root/mfs-shell/$runName
echo "set password "ftpuser#236#ftpuser"">> /root/mfs-shell/$runName
echo "spawn scpftpuser@$rm_ipAddr:/mfsdata_backup/mfsdata.$rq.tar.gz/root/mfs-shell/mfsdata" >> /root/mfs-shell/$runName
echo "sleep 30" >>/root/mfs-shell/$runName
echo "expect\"ftpuser@$rm_ipAddr‘s password:\r\"" >>/root/mfs-shell/$runName
echo "send\"\$password\r\"" >> /root/mfs-shell/$runName
echo "set timeout 5000" >>/root/mfs-shell/$runName
echo "send \"exit\r\"">> /root/mfs-shell/$runName
echo "expect eof" >>/root/mfs-shell/$runName
chmod 777 /root/mfs-shell/$runName
/root/mfs-shell/$runName
echo "`date`"\t\t"236baksuccess" >> /root/mfs-shell/bak_log
rm -rf/root/mfs-shell/mfsdata/mfsdata.$rq1.tar.gz
1、mfs1.6.x如果mfsmaster无法启动，需要执行.. /sbin/mfsmetarestore –a或者手动执行mfsmetarestore -m metadata.mfs.back -ometadata.mfs changelog_ml.*.mfs 的方式来恢复。而在moosefs2.0.x如果mfsmaster无法启动，只需执行.. /sbin/mfsmaster –a来恢复，这点要分清。
1、防火墙问题
mfsmaster时一定要关闭防火墙，否则会出现web界面功能性错误。如果必须开启防火墙，需要开放9419，9420，9421，9422，9425端口。
注意事项：如果在启动mfscgiserv后，无法查看web监控页面，是由于mfs版本和系统的python版本不对应造成的。因为oel5.8的python版本为2.4较低，Mfs1.6.20不需要升级python，而mfs1.6.27是需要升级python到2.7的的，升级时，不要卸载旧的python2.4,下面给出升级python的方法和升级后产生的问题解决方法：
Python升级步骤：python下载地址：https://www.python.org/ftp/python/
安装Pyhton2.7
wgethttp://www.python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2
tar -xjvf Python-2.7.5.tar.bz2
cd Python-2.7.5
./configure --prefix=/usr/local/python2.7
make
make install
配置python，把Python2.7作为默认的开发生产工具
mv /usr/bin/python /usr/bin/python_old #(这是一种好习惯，不要随便删除文件）
ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python 软链接
用这种方法升级后会导致yum不可用，将会引起开机错误提示：ImportError:NoModule named dbus。yum使用python2.4工具，上面的步骤启用了python2.7，python的升级将会导致yum的不可用。
修改yum的配置 vim /usr/bin/yum,将#!/usr/bin/python 更改为 #!/usr/bin/python_old
修改yum守护进程，vim/usr/sbin/yum-updatesd 将#!/usr/bin/python -tt 改成#!/usr/bin/python_old -tt
改完这两个文件后，重启进程serviceyum-updatesd restart，yum即可使用了。
在make install后，出现Pythonbuild finished, but the necessary bits to build these modules were not found:
_tkinter bsddb185 dl
imageop sunaudiodev
To find the necessary bits, look in setup.py indetect_modules() for the module‘s name.
这个两个模块用不着，不用管它。
另外、启动mfschunkserver、mfsmetalogger和mfsclient时，也要关闭防火墙或者在防火墙上开启对应服务的端口，否则在web界面属于对应功能的面板会出错。
2、can‘tresolve master hostname and/or portname (mfsmaster:9421)
说明无法识别mfsmaster的主机名或IP，应该编辑/etc/hosts文件，添加以下语句：
主控的IP(如:192.168.1.239)mfsmaster
另外在查看web界面时，新版的moosefs2.0.72需要输入DNSname,直接输入mfsmaster的名称，如不知，可以在mfsmaster输入hostname查看。
3、查看master上的/va/log/message日志出现：
Jan 8 10:10:00 nginx mfsmaster[4845]: chunkservers status:
Jan 8 10:10:00 nginx mfsmaster[4845]: total: usedspace: 0 (0 GB),totalspace: 0 (0 GB), usage: 0.00%
这说明master没有发现到chunker服务器，请检查配置文件。
注意：
1，出现这种情况是由于系统内核的版本问题，一般来说升级内核风险较大，不建议。mfsmount在OEL5.8上是不支持UEK的内核的，目前测试过程中，只发现OEL5.8UEK版本不能挂接，其他版本的可以。一般系统默认有好几个内核，所有在启动是选择不是UEK的内核即可使用mfsmount,如果想自动启动，在/boot/grub/grub.conf中修改默认启动内核的default值即可。
2， 如果在挂接的时候出现：
/usr/local/mfs/bin/mfsmount/mnt/mfs -H 192.168.9.4
mfsmaster accepted connection with parameters: read-write,restricted_ip ; rootmapped to root:root
/bin/mount：无法识别的选项“–no-canonicalize”
Usage: mount -V : print version
mount -h : print this help
mount : list mounted filesystems
mount -l : idem, including volume labels
So far the informational part. Next the mounting.
The command is `mount [-t fstype] something somewhere’.
Details found in /etc/fstab may be omitted.
mount -a [-t|-O] … : mount all stuff from /etc/fstab
mount device : mount device at the known place
mount directory : mount known device here
mount -t type dev dir : ordinary mount command
Note that one does not really mount a device, one mounts
a filesystem (of the given type) found on the device.
One can also mount an already visible directory tree elsewhere:
mount –bind olddir newdir
or move a subtree:
mount –move olddir newdir
One can change the type of mount containing the directory dir:
mount –make-shared dir
mount –make-slave dir
mount –make-private dir
mount –make-unbindable dir
One can change the type of all the mounts in a mount subtree
containing the directory dir:
mount –make-rshared dir
mount –make-rslave dir
mount –make-rprivate dir
mount –make-runbindable dir
A device can be given by name, say /dev/hda1 or /dev/cdrom,
or by label, using -L label or by uuid, using -U uuid .
Other options: [-nfFrsvw] [-o options] [-p passwdfd].
For many more details, say man 8 mount .
error in fuse_mount
是mount的版本过低所导致的问题，在mfsmount的时候需要–no-canonicalize 参数支持。
解决方法：下载新版本， util-linux-ng-2.17进行安装。
[root@localhost ~]# tar -zxvf util-linux-ng-2.17.tar.gz
[root@localhost ~]# cdutil-linux-ng-2.17
[root@localhost util-linux-ng-2.17]#./configure --prefix=/usr/local/util-linux-ng-2.17
[root@localhost util-linux-ng-2.17]#make && make install
[root@localhost util-linux-ng-2.17]# mv/bin/mount /bin/mount.old
[root@localhost util-linux-ng-2.17]# mv/bin/umount /bin/umount.old
[root@localhost util-linux-ng-2.17]# ln-s /usr/local/util-linux-ng-2.17/bin/mount /bin/mount
[root@localhost util-linux-ng-2.17]# ln-s /usr/local/util-linux-ng-2.17/bin/umount /bin/umount
[root@localhost util-linux-ng-2.17]#/usr/local/mfs/bin/mfsmount /var/www/html/ -H 192.168.1.56
mfsmaster accepted connection withparameters: read-write,restricted_ip ; root mapped to root:root
此时再次mfsmount就不会出现上述问题。
1、安装了fuse却无法识别
修改环境变量文件/etc/profile ,执行以下命令:
#exportPKG_CONFIG_PATH=/usr/lib/pkgconfig:$PKG_CONFIG_PATH
加载fuse模块到内核：
#modprobefuse（最好加入开机启动）
2、error while loading sharedlibraries: libfuse.so.2: cannot open shared object file: No such file ordirectory
解决方法：输入以下命令更新/etc/ld.so.conf即可，记得在root权限下执行：
#ldconfig
3、fuse: mountpoint is not empty
问题分析：挂载点不为空，看看fuse或mfs客户端是否已经挂载上了，或者查看挂接目录/mnt/mfs下是否已有文件。如果想强行挂接，需要在挂接命令后面加入-o nonempty选项，这样挂接后，原来目录下面的文件全部被mfs文件系统所覆盖，暂时不可查看，卸载掉mfs客户端后，原来目录下的文件会显示出来，不用担心文件丢失。
1、产生df:`/usr/xxtsrc/mfs: Transport endpoint is not connected的错误
处理的方式是umount/usr/xxtsrc/mfs，然后再重新挂载就可以了，这种 情况用于用户MFS客户端出现误杀的情况。
2、can’t open file limited 1000
检查系统的文件描述限制，并重新设置。
3、多个mfs客户端挂接后，如果使用普通用户挂接后，对mfs文件系统的用户UID和GID要求:
在正式环境中，四台服务器在创建web用户时，系统UID、GID可能会不同，由于四个mfs客户端挂接同一个mfsmaster,共享盘里面文件的所属用户都是web,所属组是web，这个web用户的UID和GID是mfs客户端第一次挂接后根据该客户端所属的UID、GID附加的，如果挂接多个客户端，那么该UID和GID会在其他客户端显示出来，这样可能会造成其他客户端无法使用的情况，这一点是和windows不一样的。所以要挂接多个客户端，必须要求四台服务器UID,GID相同，在此，更改了38服务器web用户的UID为54326，GID为54326 ，与34的web用户UID和GID相同。下面给出稳妥的修改方法：
groupmod –g 54326 web（修改web用户的GID）
usermod –u 54326 web(修改web用户的UID)
然后 usermod -g web web
或者添加附加组 usermod –G web web
特殊情况：如果该UID被其他用户所占用，请删除该用户。
如果该GID被其他用户所占用，请删除该组或者添加附加组，然后切换到普通用户下，使用newgrp +用户名的方式来切换GID，记得在修改完UID,GID之后，原来该用户下的文件的UID和GID不会自动变过来，需要重新赋予新的用户和组，
切记修改UID和GID不能直接vi系统配置文件，如果擅自修改，出现无法解决的问题后果自负。
4、在查看web界面的时候，发现有2个文件的goal是0，在查看mfsmaster日志文件的时候，发现重复的提示：
mfsmaster[29045]: chunk00000000001028AF_00000001: there are no copies
mfsmaster[29045]: chunk 0000000000102897_00000001:there are no copies
在chunkserver上，查找不到两个文件，这两个文件应该是先前测试数据遗留下来的无用文件。
本文出自 “LawLer” 博客，谢绝转载！
MooseFS分布式文件系统+keepalived高可用+unison和intoify实时双机同步（三）
标签：moosefs分布式文件系统+keepalived高可用+unison和intoify实时双机同步（三）
原文地址：http://10728233.blog.51cto.com/10718233/1791430
