架构拓扑(图片摘自网络)
一、实验环境
os:RedHat 6.4
node5 192.168.2.200 luci管理端
node1 192.168.2.103 集群节点
node2 192.168.2.111 集群节点
虚拟IP 192.168.2.110
初始化操作：关闭所有涉及设备的iptables、selinux=disabled、关闭NetworkManager
注:在该步骤中node2.example.com对应上面环境中提到的node1。node3.example.com对应上面环境中提到的node2。192.168.2.121对应上面环境中提到的192.168.2.200.（由于实验是通过几次完成的，期间涉及到实验环境重置）
二、安装配置
2.1）配置YUM仓库
将系统ISO挂载到本地目录下，然后更改YUM配置文件。最终YUM仓库如下（node1/2配置与node5相同）：
[root@node5yum.repos.d]# cat rhel-source.repo
[rhel-source]
name=RedHat Enterprise Linux $releasever - $basearch - Source
baseurl=file:///media/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
[server]
name=RedHat Enterprise Linux $releasever - $basearch - Source
baseurl=file:///media/Server/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
[HighAvailability]
name=RedHat Enterprise Linux $releasever - $basearch - Source
baseurl=file:///media/HighAvailability/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
[LoadBalancer]
name=RedHat Enterprise Linux $releasever - $basearch - Source
baseurl=file:///media/LoadBalancer/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
[ScalableFileSystem]
name=Red HatEnterprise Linux $releasever - $basearch - Source
baseurl=file:///media/ScalableFileSystem/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
[ResilientStorage]
name=RedHat Enterprise Linux $releasever - $basearch - Source
baseurl=file:///media/ResilientStorage/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
2.2）软件安装
node5:
安装scsi-target-utils、luci
node1、node2
安装iscsi-initiator-utils、ricci、cman、lvm2-cluster、gfs2-utils、rgmanager、httpd，部分软件包在安装以上包的同时会依赖安装。
2.3）配置ISCSI Server
将node5上待用作共享存储的硬盘通过fdisk命令划分区，然后在创建LV创建逻辑卷（也可以直接将磁盘共享给节点，多种方式自行选择。此环境中选择将这个磁盘共享给节点）。
2.3.1）配置target
iSCSI target的名称规则：iqn.年份-月份.域名反写.设备识别。
示例：iqn = iSCSI Qualified Name iqn.2014-07.dev.iscsi-target:iscsidisk
target的主要配置文件位于：/etc/tgt/ targets.conf
配置文件详情如下：
# This is a sample config file fortgt-admin.
# By default, tgt-admin looks for itsconfig file in /etc/tgt/targets.conf
#
# The "#" symbol disables theprocessing of a line.
……
<targetiqn.2017-06.com.example:node5>
backing-store /dev/sdb
</target>
通过配置文件可以看出iscsi可以通过多种方式进行共享给相关主机。同时可以限定能访问到该逻辑卷的主机。
2.3.2）启动iscsi服务
#/etc/init.d/tgtd start
#chkconfig tgtd on
2.3.3）查看iscsi target共享状态
[root@node5 ~]# tgt-admin --show
Target 1: iqn.2017-6.com.example:node5
System information:
Driver: iscsi
State: ready
I_T nexus information:
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00010000
SCSI SN: beaf10
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: null
Backing store path: None
Backing store flags:
LUN: 1
Type: disk
SCSI ID: IET 00010001
SCSI SN: beaf11
Size: 21475 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: rdwr
Backing store path: /dev/sdb
Backing store flags:
Account information:
ACL information:
ALL
2.4）配置ISCSI Client
2.4.1）设置开机自启动
#chkconfig iscsid on
#chkconfig iscsi on
2.4.2）更改配置文件
initiator的配置文档位于/etc/iscsi/，该目录下有两个文件initiatorname.iscsi和iscsid.conf，其中iscsid.conf 是其配置文件，initiatorname.iscsi 是标记initiator的名称（默认在该文件下有标注iscsi target服务器的iqn号码，将iqn号码更改为自己定义的号码），因为在target里面，我们并没有设置访问限制，所以iscsid.conf 文件并不需要修改。
2.4.3）侦测target
[root@node1 ~]# iscsiadm -m discovery -tsendtargets -p 192.168.2.200
192.168.2.200:3260,1iqn.2017-06.com.example:node5
2.4.4）查看节点
iscsiadm 侦测到的结果会写入/var/lib/iscsi/nodes/中，因此只需启动/etc/init.d/iscsi就能够在下次开机时，自动连接到正确的target了。
# ll -R /var/lib/iscsi/nodes/
[root@node1 ~]# ll -R /var/lib/iscsi/nodes/
/var/lib/iscsi/nodes/:
total 4
drw-------. 3 root root 4096 Jun 8 23:17 iqn.2017-06.com.example:node5
/var/lib/iscsi/nodes/iqn.2017-06.com.example:node5:
total 4
drw-------. 2 root root 4096 Jun 8 23:17 192.168.2.200,3260,1
/var/lib/iscsi/nodes/iqn.2017-06.com.example:node5/192.168.2.200,3260,1:
total 4
-rw-------. 1 root root 1815 Jun 8 23:17 default
2.4.5）连接target
查看系统下所有的target
[root@node1 ~]# iscsiadm -m node
192.168.2.200:3260,1iqn.2017-06.com.example:node5
登录target
[root@localhost~]# iscsiadm -m node -T iqn.2017-06.com.example:node5 --login
Loggingin to [iface: default, target: iqn.2017-06.com.example:node5, portal:192.168.2.200,3260] (multiple)
Login to[iface: default, target: iqn.2017-06.com.example:node5, portal:192.168.2.200,3260] successful.à登录成功
2.5）查看系统下磁盘状况
可以发现系统下多了一块sdb磁盘。在系统下可以将新发现的磁盘sdb进行格式化。
[root@node1 ~]# fdisk -l
Disk /dev/sda: 21.5 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280bytes
Sector size (logical/physical): 512 bytes /512 bytes
I/O size (minimum/optimal): 512 bytes / 512bytes
Disk identifier: 0x000d5cd9
Device Boot Start End Blocks Id System
/dev/sda1 * 1 39 307200 83 Linux
Partition 1 does not end on cylinderboundary.
/dev/sda2 39 2342 18500608 83 Linux
/dev/sda3 2342 2611 2162688 82 Linux swap / Solaris
Disk /dev/sdb: 21.5 GB, 21474836480 bytes
64 heads, 32 sectors/track, 20480 cylinders
Units = cylinders of 2048 * 512 = 1048576bytes
Sector size (logical/physical): 512 bytes /512 bytes
I/O size (minimum/optimal): 512 bytes / 512bytes
Disk identifier: 0x00000000
[root@node2 ~]# fdisk -l
Disk /dev/sda: 21.5 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280bytes
Sector size (logical/physical): 512 bytes /512 bytes
I/O size (minimum/optimal): 512 bytes / 512bytes
Disk identifier: 0x00036e0d
Device Boot Start End Blocks Id System
/dev/sda1 * 1 1275 10240000 83 Linux
/dev/sda2 1275 1301 204800 82 Linux swap / Solaris
Disk /dev/sdb: 21.5 GB, 21474836480 bytes
64 heads, 32 sectors/track, 20480 cylinders
Units = cylinders of 2048 * 512 = 1048576bytes
Sector size (logical/physical): 512 bytes /512 bytes
I/O size (minimum/optimal): 512 bytes / 512bytes
Disk identifier: 0x00000000
2.6）RHCS相关配置
2.6.1）node1/node2配置
[root@node2 ~]# passwd ricci à自定义密码
Changing password for user ricci.
New password:
BAD PASSWORD: it is toosimplistic/systematic
BAD PASSWORD: is too simple
Retype new password:
passwd: all authentication tokens updatedsuccessfully.
[root@node2 ~]# /etc/init.d/ricci start #启动ricci端口为11111
Starting oddjobd: [ OK ]
generating SSL certificates... done
Generating NSS database... done
Starting ricci: [ OK ]
[root@node2 ~]# chkconfig ricci on
[root@node2 ~]# chkconfig --list ricci
ricci 0:off 1:off 2:on 3:on 4:on 5:on 6:off
示例中显示的操作在node2上执行，node1执行相同的操作
2.6.2）node5配置
[root@node5 ~]# /etc/init.d/luci restart
Stop luci... [ OK ]
Start luci... [ OK ]
Point your web browser tohttps://node5.example.com:8084 (or equivalent) to access luci
[root@node5 ~]# chkconfig --list luci
luci 0:off 1:off 2:on 3:on 4:on 5:on 6:off
2.6.3）通过web方式进行配置
可以通过https://node5.example.com:8084也可以通过https://192.168.2.200:8084访问
在redhat6中，luci的登录用户名和密码与root账号相同。而在redhat5中需要通过
#luci_admin init（没有亲测）来进行初始化然后再设置密码，输入两次密码后，就会默认创建一个登录luci的用户admin。有时候会在登录界面左上角出现wrong credentials的叹号提示，此时可以通过重新安装luci的方式来解决该问题。
登录成功后的界面
创建集群
Download Packages:表示在线下载并自动安装RHCS软件包。
Use Locally Installed Packages:表示利用本地安装包进行安装。由于之前已经手动安装了RHCS的相关组件，所以这里可以选择该选项。
Enable Shared Storage Support:表示启动共享存储支持。
Reboot Nodes Before Joining Cluster:当节点加入集群时，重启系统。
出现该错误界面，修改ricci密码之后重新启动ricci即可消除。
出现错误提示：不是集群节点。出现该现象通常为cman、rgmanager没有启动导致。在启动cman过程中会一直报错，此时需要将NetworkManager关闭再次重启cman服务即可。
出现如上图所示的效果表示rhcs创建成功。（但一个节点显示uptime另一个不显示，通过点击node1/node2两个节点来查看节点启动的相关服务，会发现节点启动的服务不一致）
最终出现上图所示的状态，说明两节点所有服务启动正常。
注意：
在集群节点加入cluster之后，个别服务可能没有启动，因此需要执行下面命令。
#/etc/init.d/rgmanager start
#/etc/init.d/modclusterd start à如果该服务没有启动，则在uptime一栏显示为空
#/etc/init.d/clvmd start
#/etc/init.d/cman start
#chkconfig rgmanager on
#chkconfig modclusterd on
#chkconfig clvmd on
#chkconfig cman on
2.6.3.1）集群验证
通过上面的步骤最终完成了集群的创建，此时可以通过分别在node1/node2上执行命令查看集群是否配置成功。
[root@node1 ~]# clustat
Cluster Status for cluster_test @ Mon Jul10 23:19:27 2017
Member Status: Quorate
Member Name ID Status
------ ---- ---- ------
node1 1 Online, Local
node2 2 Online
[root@node2 ~]# clustat
Cluster Status for cluster_test @ Mon Jul10 23:19:16 2017
Member Status: Quorate
Member Name ID Status
------ ---- ---- ------
node1 1 Online
node2 2 Online, Local
2.6.4）添加服务
2.6.4.1）添加fence
注:在该步骤中node2.example.com对应上面环境中提到的node1。node3.example.com对应上面环境中提到的node2。192.168.2.121对应上面环境中提到的192.168.2.200.（由于实验是通过几次完成的，期间涉及到实验环境重置）
返回到nodes标签下，选中其中一个节点（如node2.example.com），就会出现该节点的详情信息。然后再点击add fence method。
注意：添加的method name为刚才创建的fence。
此时可以看到创建的fence已经被一个节点使用。
按照同样的方法将刚刚创建的fence设备添加到集群中的另一个节点上。最终显示的效果如下：
2.6.4.2）添加漂移IP（虚拟IP）
点击luci页面上的Resource，选择IP Address，注意：Netmask Bits必须是掩码位（8、16、24）类型，不能是255.255.255.0，否则服务不能启动。
2.6.4.3）添加Apache资源
点击luci页面上的Resource，通常luci添加资源界面会有很多既定的资源选项，此时选择apache（如果碰到没有的选项则需要选择script，指定个名字，还有脚本路径即可。此实验中尝试选择apache后发现添加的service groups总是failed，因此最终选择添加script方式。如下图所示）。
在添加完成httpd服务之后，需要在apache的配置文件下/etc/httpd/conf/httpd.conf进行相关的更改，此例做的更改如下：
[root@node1 conf]# pwd
/etc/httpd/conf
[root@node1 conf]# ls
httpd.conf magic
[root@node1 conf]# vim httpd.conf à在配置文件的最末尾添加标红字符，node2节点同理
……
<VirtualHost *:80>
DocumentRoot /var/www/html/
ServerName node1.example.com
</VirtualHost>
在每个节点的/var/www/html目录下创建index.html，且在index.html下编写相关文字。
2.6.4.4）添加Failover Domain
将两个节点加入fa失效域，当node1出现问题，服务将切换到node2上，默认服务启动在node1上，因为数字越小，优先级越高。
Prioritized 设定节点优先级
Restricted 指定运行某服务的节点主机
No Failback 勾选时，优先级高的节点主机宕机服务转移到其他节点，其恢复后，服务不再转移到该节点。
2.6.4.5）添加Service Groups
输入一个服务名user-test，Automatically Start This Service 自动启动服务，将FailoverDomain设置为fa，点击Add resource添加刚才加的资源。
Run Exclusive 专一的运行这一种service
Recovery Policy选择Relocate,服务节点出现问题，转移服务至其它节点。
2.6.4.5.1）添加Resource到service groups
添加vip以及httpd服务
然后服务组会自动运行在优先级高的节点机上，node1的优先级为1，node2的优先级为10，数字越小优先级越高。
2.6.4.6）验证配置结果
在node1上查看集群状态
[root@node1 ~]# clustat
Cluster Status for mycluster @ Mon Jun 1202:24:52 2017
Member Status: Quorate
Member Name ID Status
------ ---- ---- ------
node1 1Online, Local, rgmanager
node2 2 Online, rgmanager
Service Name Owner(Last) State
------- ---- ----- ------ -----
service:userzr-ser node1 started
查看漂移IP所在的位置
[root@node1 ~]# ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP>mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:e8:16:46 brd ff:ff:ff:ff:ff:ff
inet 192.168.2.103/24 brd 192.168.2.255 scope global eth0
inet 192.168.2.110/24 scope global secondary eth0
inet6 fe80::20c:29ff:fee8:1646/64 scope link
valid_lft forever preferred_lft forever
3: eth1:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000
link/ether 00:0c:29:e8:16:50 brd ff:ff:ff:ff:ff:ff
inet 10.0.0.2/24 brd 10.0.0.255 scope global eth1
inet6 fe80::20c:29ff:fee8:1650/64 scope link
valid_lft forever preferred_lft forever
4: pan0: <BROADCAST,MULTICAST> mtu1500 qdisc noop state DOWN
link/ether22:8c:60:ee:9f:24 brd ff:ff:ff:ff:ff:ff
查看httpd服务是否启动
当集群的owner(last)是哪个节点，则哪个节点上的相关服务就被启动，此例子中的服务是httpd。
[root@node1 ~]# /etc/init.d/httpd status
httpd (pid 19276) is running...
2.6.5）挂载文件系统
在客户端设置完initiatorname.iscsi之后，执行如下命令即可：
# iscsiadm -m discovery -t sendtargets -p xxx(ip地址)
#iscsiadm -m node
# iscsiadm -m node -T iqn.2017-05.com.example:node5(iqn号码自定义) --login
最终就会在系统下发现相关的分区
[root@node1 ~]# fdisk -l
Disk /dev/sda: 21.5 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000d5cd9
Device Boot Start End Blocks Id System
/dev/sda1 * 1 39 307200 83 Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2 39 2342 18500608 83 Linux
/dev/sda3 2342 2611 2162688 82 Linux swap / Solaris
Disk /dev/sdb: 21.5 GB, 21474836480 bytes
64 heads, 32 sectors/track, 20480 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xb58b5eff
Device Boot Start End Blocks Id System
/dev/sdb1 1 1025 1049584 83 Linux
/dev/sdb2 1026 20480 19921920 83 Linux
此时可以看出sdb为新发现的磁盘。且分了两个分区。
2.6.6）集群文件系统的创建
CLVM的作用类似与LVM，但集群文件系统后期如果有规划在线扩容的操作必须要开启clvmd（分发逻辑卷的状态更新<一个节点上操作磁盘分区成功后、另一个节点上也会发生同样的效果变化>）这个功能。
[root@node1 ~]# lvmconf #查看帮助选项
usage: /sbin/lvmconf <command>
Commands:
Enable clvm: --enable-cluster [--lockinglibdir <dir>] [--lockinglib<lib>]
Disable clvm: --disable-cluster
Set locking library: --lockinglibdir <dir> [--lockinglib<lib>]
Global options:
Config file location: --file <configfile>
[root@node1 ~]# lvmconf --enable-cluster 使逻辑卷支持cluster，分别在node1/2执行
[root@node1 ~]# /etc/init.d/clvmd restart 两个节点都执行。作用：只需在一个节点上执行逻辑卷操作，所有节点同步
Restarting clvmd: [OK ]
将新“映射”到node1/node2的磁盘（sdb）进行分区，在一台机器上做，另一台也会出现创建的分区。
分别在node1/node2上创建pv。
[root@node1 ~]# pvcreate /dev/sdb2
Physical volume"/dev/sdb2" successfully created
[root@node2 ~]# pvcreate /dev/sdb2
Physical volume"/dev/sdb2" successfully created
注意：如果在一个节点上没有运行clvmd服务，则创建pv会出现告警。
[root@node2 ~]# pvs
clvmd not running onnode node2
Unable to obtain globallock.
[root@node1 ~]# vgcreate --help
vgcreate: Create avolume group
vgcreate
[-A|--autobackup{y|n}]
[--addtag Tag]
[--alloc AllocationPolicy]
[-c|--clustered{y|n}]
[-d|--debug]
[-h|--help]
[-l|--maxlogicalvolumesMaxLogicalVolumes]
[-M|--metadatatype1|2]
[--[vg]metadatacopies#copies]
[-p|--maxphysicalvolumesMaxPhysicalVolumes]
[-s|--physicalextentsizePhysicalExtentSize[bBsSkKmMgGtTpPeE]]
[-t|--test]
[-v|--verbose]
[--version]
[ PHYSICAL DEVICEOPTIONS ]
VolumeGroupNamePhysicalDevicePath [PhysicalDevicePath...]
c 支持集群功能,y---yes , n---no
[root@node1 ~]# vgcreate -cy clustervg /dev/sdb2
Clustered volume group"clustervg" successfully created
（如果仅仅在node1上创建pv然后就直接在node1上创建vg/lv，会提示报错：
Error locking on node node2: Volume group for uuid not found:d4EUWKtp6A37RownBShXDrj00ZuZYm7MdUJgXHMZTZ5CFXemlhEfJc1DrVJhHyMU
Failed to activate newLV.）
[root@node1 ~]# lvcreate -l 4863 -n clusterlv clustervg
Logical volume"clusterlv" created
2.6.6.1）创建GFS文件系统
#cat /etc/cluster/cluster.conf #查看集群的名称
[root@node1 /]# cman_tool status #查看集群相关信息，其中涉及到集群名称
Version: 6.2.0
Config Version: 7
Cluster Name: cluster_test
Cluster Id: 42965
Cluster Member: Yes
Cluster Generation: 148
Membership state: Cluster-Member
Nodes: 2
Expected votes: 1
Total votes: 2
Node votes: 1
Quorum: 1
Active subsystems: 9
Flags: 2node
Ports Bound: 0 11 177
Node name: node1
Node ID: 1
Multicast addresses: 239.192.167.125
Node addresses: 192.168.2.103
格式化文件系统
[root@node1 /]# mkfs.gfs2 -p lock_dlm -t cluster_test:gfs -j 3/dev/clustervg/clusterlv
This will destroy any data on /dev/clustervg/clusterlv.
It appears to contain: symbolic link to `../dm-0‘
Are you sure you want to proceed? [y/n] y
Device: /dev/clustervg/clusterlv
Blocksize: 4096
Device Size 19.00 GB (4979712 blocks)
Filesystem Size: 19.00 GB (4979711 blocks)
Journals: 3
Resource Groups: 76
Locking Protocol: "lock_dlm"
Lock Table: "cluster_test:gfs"
UUID: 4561c8ab-66a6-c41a-d95c-38ce9314b516
格式话完成之后，在系统下可以出现如下所示的效果：
[root@node1 conf]# blkid
/dev/sda1: UUID="797995cc-52d1-4a15-b38b-b522ad8ede2d"TYPE="ext4"
/dev/sda2:UUID="wtLL6x-4JQJ-X3VL-3QKM-jF1u-f5YX-IfuXnM"TYPE="LVM2_member"
/dev/mapper/VolGroup-lv_root:UUID="7b7c269f-aa59-446f-b610-087438bce9d5" TYPE="ext4"
/dev/mapper/VolGroup-lv_swap:UUID="f06cd436-49fa-4ad6-b6e1-ccc896187d9f" TYPE="swap"
/dev/sdb2: UUID="7hRtF5-WfJo-RRcv-luEx-IdkC-Zho8-RPL2x2"TYPE="LVM2_member"
/dev/mapper/clustervg-clusterlv: LABEL="test:gfs"UUID="ca9baac8-413b-cd0a-a7b6-1ccf6d0f652b" TYPE="gfs2"
注意：
如果出现上述结果，说明文件系统格式化完全，sdb2分区所创建的lv被系统完美的识别。但另外一个节点会存在没有上述红色字体所示的效果，此时可以将该节点reboot。
通过将新建的lv临时挂载在本地的某个目录下来验证新建的lv是否已经生效，同时挂载后还能查看文件系统格式是否正确。验证之后再将lv卸载掉。
在node1上挂载新建的LV
[root@node1 /]# mount /dev/clustervg/clusterlv /data/à在node2上执行同样操作
[root@node1 /]# df -hT
Filesystem Type Size Used Avail Use% Mounted on
/dev/sda2 ext4 18G 2.5G 15G 15% /
tmpfs tmpfs 491M 32M 460M 7% /dev/shm
/dev/sda1 ext4 291M 33M 243M 12% /boot
/dev/sr0 iso9660 3.5G 3.5G 0 100% /mnt/cdrom
/dev/mapper/clustervg-clusterlv
gfs2 19G 388M 19G 2% /data
2.6.6.2）添加gfs文件系统资源
将文件系统资源添加到servicegroups，是的文件系统in use显示为勾。
2.6.7）仲裁盘
[root@node1 ~]# mkqdisk --help
mkqdisk v3.0.12.1
mkqdisk: invalid option -- ‘-‘
mkqdisk: invalid option -- ‘e‘
mkqdisk: invalid option -- ‘-‘
usage: mkqdisk -L | -f <label> | -c <device> -l<label> [-d]
[root@node1 ~]# mkqdisk -c /dev/sdb1 -l myqdisk
mkqdisk v3.0.12.1
Writing new quorum disk label ‘myqdisk‘ to /dev/sdb1.
WARNING: About to destroy all data on /dev/sdb1; proceed [N/y] ?y
Initializing status block for node 1...
Initializing status block for node 2...
Initializing status block for node 3...
Initializing status block for node 4...
Initializing status block for node 5...
Initializing status block for node 6...
Initializing status block for node 7...
Initializing status block for node 8...
Initializing status block for node 9...
Initializing status block for node 10...
Initializing status block for node 11...
Initializing status block for node 12...
Initializing status block for node 13...
Initializing status block for node 14...
Initializing status block for node 15...
Initializing status block for node 16...
验证是否创建成功
[root@node1 ~]# mkqdisk -L
mkqdisk v3.0.12.1
/dev/block/8:17:
/dev/disk/by-id/scsi-1IET_00010001-part1:
/dev/disk/by-path/ip-192.168.2.200:3260-iscsi-iqn.2017-6.com.example:node5-lun-1-part1:
/dev/disk/by-uuid/f57a4f43-b2df-492c-893d-6b251ff4ae22:
/dev/sdb1:
Magic: eb7a62c2
Label: myqdisk
Created: Tue Jul 18 15:30:50 2017
Host: node1
Kernel SectorSize: 512
Recorded SectorSize: 512
仲裁盘的配置
查看仲裁盘配置是否成功
启动仲裁服务
[root@node1 ~]# /usr/sbin/qdiskd status
QDisk services already running
qdisk启动后，如果配置正确，qdisk磁盘将自动进入online状态，相关信息如下：
[root@node1 ~]# clustat -l
Cluster Status for cluster_test @ Tue Jul 18 17:24:39 2017
Member Status: Quorate
Member Name ID Status
------ ---- ---- ------
node1 1 Online, Local,rgmanager
node2 2 Online, rgmanager
/dev/block/8:17 0 Online, QuorumDisk
Service Information
------- -----------
Service Name :service:user_cluster
Current State : started (112)
Flags : none (0)
Owner : node1
Last Owner : node2
Last Transition : TueJul 18 16:38:26 2017
此时qdisk已经开始运行。
2.7）集群测试
手动切换节点
[root@node2 html]# clusvcadm -r user-test -m node3.example.com
模拟一个节点宕机
在另外一个节点上查看日志文件
[root@node3 log]# tail -f messages
Aug 3 16:21:16 node3 kernel: GFS2: fsid=test:gfs.0: Joined cluster. Nowmounting FS...
Aug 3 16:21:16 node3 kernel: GFS2: fsid=test:gfs.0: jid=0, already lockedfor use
Aug 3 16:21:16 node3 kernel: GFS2: fsid=test:gfs.0: jid=0: Looking atjournal...
Aug 3 16:21:16 node3 kernel: GFS2: fsid=test:gfs.0: jid=0: Done
Aug 3 16:21:16 node3 kernel: GFS2: fsid=test:gfs.0: jid=1: Trying to acquirejournal lock...
Aug 3 16:21:16 node3 kernel: GFS2: fsid=test:gfs.0: jid=1: Looking atjournal...
Aug 3 16:21:16 node3 kernel: GFS2: fsid=test:gfs.0: jid=1: Done
Aug 3 16:21:16 node3 rgmanager[24184]: [ip]Adding IPv4 address 192.168.2.110/24 to eth0
Aug 3 16:21:20 node3 rgmanager[24270]: [script] Executing /etc/init.d/httpdstart
Aug 3 16:21:20 node3 rgmanager[2323]: Serviceservice:user-test started
Aug 3 16:21:38 node3 qdiskd[1625]: Node 1shutdown
Aug 3 16:21:39 node3 kernel: dlm: closing connection to node 1
Aug 3 16:21:39 node3 corosync[1575]: [QUORUM] Members[1]: 2
Aug 3 16:21:39 node3 corosync[1575]: [TOTEM ] A processor joined or left the membership and a new membershipwas formed.
Aug 3 16:21:39 node3 corosync[1575]: [CPG ] chosen downlist: senderr(0) ip(192.168.2.120) ; members(old:2 left:1)
Aug 3 16:21:39 node3 corosync[1575]: [MAIN ] Completed servicesynchronization, ready to provide service.
Aug 3 16:21:39 node3 dlm_controld[1823]: node_history_cluster_remove nonodeid 1
Aug 3 16:21:39 node3 gfs_controld[1873]: node_history_cluster_remove nonodeid 1
Aug 3 16:21:40 node3 ricci[24325]: Executing ‘/usr/bin/virsh nodeinfo‘
Aug 3 16:21:40 node3 ricci[24327]: Executing‘/usr/libexec/ricci/ricci-worker -f /var/lib/ricci/queue/954519272‘
Aug 3 16:21:41 node3 ricci[24443]: Executing ‘/usr/libexec/ricci/ricci-worker-f /var/lib/ricci/queue/2133287837‘
Aug 3 16:21:51 node3 rgmanager[24468]: [script] Executing /etc/init.d/httpdstatus
Aug 3 16:22:22 node3 rgmanager[24911]: [script] Executing /etc/init.d/httpdstatus
Aug 3 16:23:01 node3 rgmanager[25205]: [script] Executing /etc/init.d/httpdstatus
[root@node3 log]# clustat
Cluster Status for test @ Thu Aug 3 16:24:13 2017
Member Status: Quorate
Member Name ID Status
------ ---- ---- ------
node2.example.com 1 Offline
node3.example.com 2 Online,Local, rgmanager
/dev/block/8:17 0Online, Quorum Disk
Service Name Owner(Last) State
------- ---- ----- ------ -----
service:user-test node3.example.com started
通过以上两种测试方法，可以发现即使一个节点宕机也不会妨碍服务的正常运行。
2.6.8）总结
由于设备的限制，没有真实的fence。实验中使用的fence是通过参考网络上的资料（http://zaizai1573.blog.51cto.com/4515471/1564605）所得知。通过查找相关资料发现存在多种fence但是由于条件的限制以及个人知识的局限，仅仅通过了上面的步骤将搭建环境还原,如有问题请指正。
本文出自 “小谈” 博客，请务必保留此出处http://5905988.blog.51cto.com/5895988/1953678
原文地址：http://5905988.blog.51cto.com/5895988/1953678
