CentOS6.6的ClusterHA下的GFS2

时间：2016-12-20 21:27:59 阅读：1083 评论：0 收藏：0 [点我收藏+]

标签：gfs2 ha cluster linux centos6

GFS有两种缩写，既然是说centos，Google的就不提了。

说的是Redhat 的GFS（Global File System）

其实就是多个机器，共享同一块磁盘，正式应用来说，比如光纤接入，或者iscsi。

在windows下，同时访问同一块磁盘会出问题，第一个接入的磁盘的机器，写入的文件，其它机器看不见。

Linux的GFS系统就是解决这个问题。

目前GFS已经是GFS2了。

它必须运行在集群下，所以先要搞好一个集群的环境。

先做好2台机器，编写好/etc/hosts文件，域名和IP的两台机器的解析都写入进去。

然后开始安装

之前要把所以机器的防火墙关闭

iptables -F

service iptables save

关闭selinux

vim /etc/sysconfig/selinux

把SELINUX这个项目改成disbaled SELINUX=disabled

为了简化操作，用ricci操控，每台机器上安装ricci

yum -y install ricci

开机运行

chkconfig ricci on

运行

ricci start

给ricci账户配密码为shenxu

echo shenxu | passwd --stdin ricci

关闭NetworkManager

chkconfig NetworkManager off

安装luci在作为控制界面，只安装一台即可

yum -y install luci

开机运行

chkconfig luci on

通过浏览器访问

https：//IP:8084

进入界面后点击Manage Clusters点击creat，创建一个新的集群，名字随便这我建立一个叫cluster1214，Use the Same Password for All Nodes这个点击上，Node Name就是每台机器的域名，password就是刚才为ricci设置的密码，刚才设的shenxu，然后选择Download Packages，用最新的嘛，

Reboot Nodes Before Joining Cluster和Enable Shared Storage Support也选上

然后ricci就开始安装集群的各个组件cman，rgmanager，modclusterd，clvmd，安装完了就会把所有节点的机器都重启。

我刚开始一直都起不来，直接去启动cman失败，提示是NetworkManager问题，stop也不行，后来必须chkconfig NetworkManager off才起动起来。

然后我启动了rgmanager和clvmd，当然查看一下chkconfig --list，看看是否都配置成了自动启动，没有的话手动配置一下。

另外要确认一下cat /etc/lvm/lvm.conf | grep locking_type是不是已经配置成了3，修改fallback_to_local_locking=0，以禁止回写。

看看所有机器的/etc/cluster/cluster.conf 是否已经同步了，正常情况ricci会完成cluster.conf以及 lvm.conf里locking_type的修改，fallback_to_local_locking=0不会改。

没有配置Fence，是个硬件的东西，就是机器失败了给踢出集群去的一个东西，以后再说吧。

下面说一下GFS2文件系统的建立。

我用虚拟机ESXi建立的两个虚拟机，一个硬盘是普通安装系统的，另外一个盘是共享的，追加一个盘，scsi的接口，一定要和第一个盘总线分离，比如第一个是0:0，那么追加的共享盘一定要1:0，然后找到接共享盘的scsi控制器，选scsi的bus共享，可以选虚拟和物理，虚拟的意思是所有要共享的虚拟机都在同一台ESXi上，如果是vcenter控制的多台ESXi，虚拟机分布在多个物理的ESXi上，那么选物理。

在每台机器上fdisk -l看看，是不是都是/dev/sda，或许是sdb，然后在一台机器上

建立物理券

pvcreate /dev/sda

建立名字为gfs2cluster卷组

vgcreate gfs2cluster /dev/sda

看看出来了没

pvs

PV VG Fmt Attr PSize PFree
/dev/sda gfs2cluster lvm2 a--u 2.00g 0

建立名为gfs2data的逻辑券，并把gfs2cluster卷组加入，分配100%的容量

lvcreate -n gfs2data -l 100%FREE gfs2cluster

查看一下

lvs

LV       VG          Attr       LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
gfs2data gfs2cluster -wi-ao---- 2.00g
lv_root vg_gfs1     -wi-ao---- 13.91g
lv_swap vg_gfs1     -wi-ao---- 1.60g

查看一下挂载点的名字

ll /dev/mapper/

total 0
crw-rw---- 1 root root 10, 58 Dec 19 23:14 control
lrwxrwxrwx 1 root root      7 Dec 19 23:14 gfs2cluster-gfs2data -> ../dm-2
lrwxrwxrwx 1 root root      7 Dec 19 23:14 vg_gfs1-lv_root -> ../dm-0
lrwxrwxrwx 1 root root      7 Dec 19 23:14 vg_gfs1-lv_swap -> ../dm-1

gfs2cluster-gfs2data就是刚做出来的

建立gfs2的文件系统

mkfs.gfs2 -j 2 -p lock_dlm -t cluster1214:gfs2data /dev/mapper/gfs2cluster-gfs2data

-j 2是两个节点， -p lock_dlm是锁定方式，cluster1214是集群的名字，gfs2data是逻辑券，好像这个不这么写也可以，重要的是挂在点不能搞错了/dev/mapper/gfs2cluster-gfs2data

clustat看看集群的情况

做一目录，好挂载

mkdir /mnt/gfs2

写入fstab，自动挂载

echo "/dev/mapper/gfs2cluster-gfs2data /mnt/gfs2 gfs2 defaults,noatime,nodiratime,noquota 0 0" >> /etc/fstab

启动gfs2，挂载

service gfs2 start

然后就到/mnt/gfs2下面做个文件看看，在其它机器上是否也能看见，在其它机器上修改了，这边的机器是否能看见修改过的内容。