DRBD 高可用配置详解(转)

时间：2016-03-30 09:53:22 阅读：321 评论：0 收藏：0 [点我收藏+]

标签：

高可用性集群解释：
一般是指当集群中有某个节点失效的情况下，其上的任务会自动转移到其他正常的节点上。还指可以将集群中的某节点进行离线维护再上线，该过程并不影响整个集群的运行。
今天来做个Heartbeat+DRBD+NFS的高可用文件系统
1、实验VMware虚拟机2台同时安装CentOS 6.6 x86_64的系统

#测试机1
[root@ZhongH6100 ~]# ifconfig | sed -rn ‘/^[^ \t]/{N;s/(^[^ ]*).*addr:([^ ]*).*/\1 \2/p}‘ | awk ‘$2!~/^192\.168|^10\.|^127|^0|^$/{print $1"="$2}‘
eth0=172.16.6.100
eth1=172.16.6.101
[root@ZhongH6100 ~]# hostname
ZhongH6100.wxjr.com.cn
[root@ZhongH6100 ~]# cat /etc/centos-release
CentOS release 6.6 (Final)
[root@ZhongH6100 ~]#
#测试机2
[root@ZhongH7100 ~]# ifconfig | sed -rn ‘/^[^ \t]/{N;s/(^[^ ]*).*addr:([^ ]*).*/\1 \2/p}‘ | awk ‘$2!~/^192\.168|^10\.|^127|^0|^$/{print $1"="$2}‘
eth0=172.16.7.100
eth1=172.16.7.101
[root@ZhongH7100 ~]# hostname
ZhongH7100.wxjr.com.cn
[root@ZhongH7100 ~]# cat /etc/centos-release
CentOS release 6.6 (Final)
[root@ZhongH7100 ~]#

2、修改主机名、指定hostname能被两主机互相访问、同步时间
 #下面实验的时候大家仔细看命令是在哪个服务器上执行的仔细区分

是[root@ZhongH6100 ~]还是[root@ZhongH7100 ~]

如果是[root@ZhongH100 ~]那么就是两台机器都需要运行的

[root@ZhongH6100 ~]# sed -ri ‘s/^(HOSTNAME=).*/\1ZhongH6100.wxjr.com.cn/‘ /etc/sysconfig/network
[root@ZhongH6100 ~]# hostname ZhongH6100.wxjr.com.cn
[root@ZhongH7100 ~]# sed -ri ‘s/^(HOSTNAME=).*/\1ZhongH7100.wxjr.com.cn/‘ /etc/sysconfig/network
[root@ZhongH7100 ~]# hostname ZhongH7100.wxjr.com.cn
[root@ZhongH6100 ~]# echo "172.16.7.100    ZhongH7100.wxjr.com.cn ZhongH7100" >> /etc/hosts
[root@ZhongH7100 ~]# echo "172.16.6.100    ZhongH6100.wxjr.com.cn ZhongH6100" >> /etc/hosts
#下面这里就不单独做世界同步服务器了 直接ntp来做网络同步
[root@ZhongH100 ~]# echo "*/5 * * * * `which ntpdate` pool.ntp.org >/dev/null 2>&1" >> /var/spool/cron/root

3、安装DRBD

DRBD简介
 DRBD的全称为：DistributedReplicatedBlockDevice(DRBD)分布式块设备复制DRBD是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。它允许用户在远程机器上建立一个本地块设备的实时镜像。与心跳连接结合使用，也可以把它看作是一种网络RAID。
 DRBD工作机制
 Drbd负责接收数据，把数据写到本地磁盘，然后发送给另一个主机。另一个主机再将数据存到自己的磁盘中。目前，drbd每次只允许对一个节点进行读写访问，这对于通常的故障切换高可用性集群来讲已经足够用了。以后的版本将支持两个节点进行读写存取。
 DRBD协议说明
 A数据一旦写入磁盘并发送到网络中就认为完成了写入操作。
 B收到接收确认就认为完成了写入操作。
 C收到写入确认就认为完成了写入操作
 DRBD官方下载地址：http://oss.linbit.com/drbd/

下载 : DRBD-8.4.3.tar.gz

①、准备工作

[root@ZhongH100 ~]# yum clean all && yum makecache
[root@ZhongH100 ~]# yum groupinstall "Development tools" "Server Platform Development" -y && yum update -y
[root@ZhongH100 ~]# uname -r #查看内核版本
2.6.32-504.16.2.el6.centos.plus.x86_64
[root@ZhongH100 ~]# yum install kernel-devel kernel-headers flex #注意：安装kernel-devel一定要和你uname -r 看到的内核版本一致

②、编译安装DRBD

[root@ZhongH100 ~]# cd /tmp && wget http://www.dwhd.org/wp-content/uploads/2015/05/drbd-8.4.3.tar.gz
[root@ZhongH100 tmp]# tar xf drbd-8.4.3.tar.gz
[root@ZhongH100 tmp]# cd drbd-8.4.3
[root@ZhongH6100 drbd-8.4.3]# ./configure --prefix=/usr/local/drbd --sysconfdir=/etc/drbd \
--datarootdir=/usr/local/share/ --with-utils --with-km       #--with-km是启用内核模块
[root@ZhongH100 drbd-8.4.3]# make KDIR=/usr/src/kernels/`uname -r`/
[root@ZhongH100 drbd-8.4.3]# make install
[root@ZhongH100 drbd-8.4.3]# mkdir -p /usr/local/drbd/var/run/drbd
[root@ZhongH100 drbd-8.4.3]# cp -a /etc/drbd/rc.d/init.d/drbd  /etc/rc.d/init.d/
[root@ZhongH100 drbd-8.4.3]# chkconfig --add drbd
[root@ZhongH100 drbd-8.4.3]# chkconfig drbd on
[root@ZhongH100 drbd-8.4.3]# cd drbd
[root@ZhongH100 drbd]# make clean
[root@ZhongH100 drbd]# make KDIR=/usr/src/kernels/`uname -r`/
[root@ZhongH100 drbd]# cp drbd.ko /lib/modules/`uname -r`/kernel/lib/
[root@ZhongH100 drbd]# modprobe drbd
[root@ZhongH100 drbd]# lsmod | grep drbd   #查看模块是否加载成功
drbd                  310172  0
libcrc32c               1246  1 drbd

③、准备同步使用的磁盘
准备一个分区以备后面实验用,下面是我在sdb磁盘上新建了一个sdb1的主分区大小事30G

[root@ZhongH100 drbd]# dd if=/dev/zero of=/dev/sdb1 bs=1M count=1 情况sdb磁盘上的分区表
[root@ZhongH100 drbd]# fdisk /dev/sdb
 
WARNING: DOS-compatible mode is deprecated. It‘s strongly recommended to
         switch off the mode (command ‘c‘) and change display units to
         sectors (command ‘u‘).
 
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-7832, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-7832, default 7832): +30G
 
Command (m for help): p
 
Disk /dev/sdb: 64.4 GB, 64424509440 bytes
255 heads, 63 sectors/track, 7832 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000a8ddb
 
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1        3917    31463271   83  Linux
 
Command (m for help): w
The partition table has been altered!
 
Calling ioctl() to re-read partition table.
Syncing disks.
[root@ZhongH100 drbd]#

④、制作环境变量文件、备份原始配置文件、修改配置文件、定义节点上的资源

[root@ZhongH100 drbd]# cd /etc/drbd/drbd.d
[root@ZhongH100 drbd.d]# pwd
/etc/drbd/drbd.d
[root@ZhongH100 drbd.d]# echo "export PATH=/usr/local/drbd/sbin:\$PATH" > /etc/profile.d/drbd.8.4.3.sh
[root@ZhongH100 drbd.d]# . /etc/profile.d/drbd.8.4.3.sh

[root@ZhongH100 drbd.d]# cp global_common.conf global_common.conf_`date +%Y%m%d`_backup
[root@ZhongH100 drbd.d]# ls -l
总用量 8
-rw-r--r-- 1 root root 1836 5月  23 21:36 global_common.conf
-rw-r--r-- 1 root root 1836 5月  23 21:45 global_common.conf_20150523_backup

⑤、修改全局配置文件

[root@ZhongH100 drbd.d]# :>global_common.conf
#然后将配置文件改成下面的
[root@ZhongH100 drbd.d]# grep -Ev ‘(^#|^\s+#)‘ global_common.conf
global {
        usage-count no;
}
common {
        protocol C;
        handlers {
                pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
        }
        startup {
                wfc-timeout 120;
                degr-wfc-timeout 120;
        }
        disk {
                on-io-error detach;
                fencing resource-only;
        }
        net {
                cram-hmac-alg "sha1";
                shared-secret "mydrbdlab";
        }
        syncer {
                rate 100M;
        }
}



 ⑥、定义节点上的资源

[root@ZhongH100 drbd.d]# vi web.res #写入下面的内容，具体视情况做更改
resource web { #这个web是定义资源的名字
    on ZhongH6100.wxjr.com.cn {          #on开头，后面是主机名称
        device /dev/drbd0;           #drbd设备名称
        disk /dev/sdb1;              #drbd0使用的磁盘分区为sdb1
        address 172.16.6.101:7789;   #设置drbd监听地址与端口
        meta-disk internal;
    }
    on ZhongH7100.wxjr.com.cn {          #on开头，后面是主机名称
        device /dev/drbd0;           #drbd设备名称
        disk /dev/sdb1;              #drbd0使用的磁盘分区为sdb1
        address 172.16.7.101:7789;   #设置drbd监听地址与端口
        meta-disk internal;
    }
}

⑦、初始化资源

[root@ZhongH100 drbd.d]# drbdadm create-md web
Writing meta data...
initializing activity log
NOT initializing bitmap
New drbd meta data block successfully created.

⑧、启动DRBD服务

[root@ZhongH100 drbd.d]# service drbd restart
Stopping all DRBD resources: .
Starting DRBD resources: [
     create res: web
   prepare disk: web
    adjust disk: web
     adjust net: web
]
outdated-wfc-timeout has to be shorter than degr-wfc-timeout
outdated-wfc-timeout implicitly set to degr-wfc-timeout (120s)
.
[root@ZhongH100 drbd.d]#

查看节点此时节点都是Secondary

[root@ZhongH6100 drbd.d]# drbdadm role web
Secondary/Secondary
[root@ZhongH6100 drbd.d]#

[root@ZhongH7100 drbd.d]# drbdadm role web
Secondary/Secondary
[root@ZhongH7100 drbd.d]#

由于默认没有主次节点之分，因而需要设置两个主机的主次节点，选择需要设置为主节点的主机，然后执行如下命令：
drbdadm -- --overwrite-data-of-peer primary web #命令解释：调整当前节点上的web资源为主节点

⑨、调整172.16.6.101/172.16.6.100也就是node1也主节点

[root@ZhongH6100 drbd.d]# drbdadm role web
Secondary/Secondary
[root@ZhongH6100 drbd.d]# drbdadm -- --overwrite-data-of-peer primary web
[root@ZhongH6100 drbd.d]# drbd-overview
  0:web/0  SyncSource Primary/Secondary UpToDate/Inconsistent C r---n-
        [>....................] sync‘ed:  1.4% (30328/30724)M
[root@ZhongH6100 drbd.d]# cat /proc/drbd
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@ZhongH6100.wxjr.com.cn, 2015-05-23 21:36:33
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
    ns:2462744 nr:0 dw:0 dr:2466464 al:0 bm:150 lo:0 pe:3 ua:3 ap:0 ep:1 wo:f oos:29001596
        [>...................] sync‘ed:  7.9% (28320/30724)M
        finish: 0:04:44 speed: 101,772 (91,136) K/sec
[root@ZhongH6100 drbd.d]# drbdadm role web
Primary/Secondary
[root@ZhongH6100 drbd.d]# cat /proc/drbd
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@ZhongH6100.wxjr.com.cn, 2015-05-23 21:36:33
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
    ns:9051136 nr:0 dw:0 dr:9051808 al:0 bm:551 lo:3 pe:8 ua:3 ap:0 ep:1 wo:f oos:22419324
        [====>...............] sync‘ed: 28.8% (21892/30724)M
        finish: 0:04:06 speed: 90,776 (74,732) K/sec
#由此可见：进度已经完成了28.8%，传输速度大概70M/S
#注：ds是磁盘状态信息 dw是磁盘写信息 dr是磁盘读信息

[root@ZhongH6100 drbd.d]# drbdadm cstate web
SyncSource  #SyncSource：以本节点为同步源的同步正在进行
#资源的连接状态；一个资源可能有以下连接状态中的一种
#StandAlone 独立的：网络配置不可用；资源还没有被连接或是被管理断开（使用 drbdadm disconnect 命令），或是由于出现认证失败或是脑裂的情况
#Disconnecting 断开：断开只是临时状态，下一个状态是StandAlone独立的
#Unconnected 悬空：是尝试连接前的临时状态，可能下一个状态为WFconnection和WFReportParams
#Timeout 超时：与对等节点连接超时，也是临时状态，下一个状态为Unconected悬空
#BrokerPipe：与对等节点连接丢失，也是临时状态，下一个状态为Unconected悬空
#NetworkFailure：与对等节点推动连接后的临时状态，下一个状态为Unconected悬空
#ProtocolError：与对等节点推动连接后的临时状态，下一个状态为Unconected悬空
#TearDown 拆解：临时状态，对等节点关闭，下一个状态为Unconected悬空
#WFConnection：等待和对等节点建立网络连接
#WFReportParams：已经建立TCP连接，本节点等待从对等节点传来的第一个网络包
#Connected 连接：DRBD已经建立连接，数据镜像现在可用，节点处于正常状态
#StartingSyncS：完全同步，有管理员发起的刚刚开始同步，未来可能的状态为SyncSource或PausedSyncS
#StartingSyncT：完全同步，有管理员发起的刚刚开始同步，下一状态为WFSyncUUID
#WFBitMapS：部分同步刚刚开始，下一步可能的状态为SyncSource或PausedSyncS
#WFBitMapT：部分同步刚刚开始，下一步可能的状态为WFSyncUUID
#WFSyncUUID：同步即将开始，下一步可能的状态为SyncTarget或PausedSyncT
#SyncSource：以本节点为同步源的同步正在进行
#SyncTarget：以本节点为同步目标的同步正在进行
#PausedSyncS：以本地节点是一个持续同步的源，但是目前同步已经暂停，可能是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步
#PausedSyncT：以本地节点为持续同步的目标，但是目前同步已经暂停，这可以是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步
#VerifyS：以本地节点为验证源的线上设备验证正在执行
#VerifyT：以本地节点为验证目标的线上设备验证正在执行

⑩、在主节点上创建文件系统、挂载主节点上的文件系统、在主节点分区中新建个文件

[root@ZhongH6100 drbd.d]# mke2fs -t ext4 -L drbdweb /dev/drbd0
mke2fs 1.41.12 (17-May-2010)
文件系统标签=drbdweb
操作系统:Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
1966560 inodes, 7865567 blocks
393278 blocks (5.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=4294967296
241 block groups
32768 blocks per group, 32768 fragments per group
8160 inodes per group
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000
 
正在写入inode表: 完成
Creating journal (32768 blocks): 完成
Writing superblocks and filesystem accounting information: 完成
 
This filesystem will be automatically checked every 33 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.
[root@ZhongH6100 drbd.d]# mkdir /DRBD
[root@ZhongH6100 drbd.d]# mount /dev/drbd0 /DRBD/
[root@ZhongH6100 drbd.d]# echo -e "Hello World\nLegion\t$(date "+%Y-%m-%d %H:%M:%S")" > /DRBD/testDRBDfile
[root@ZhongH6100 drbd.d]# cat /DRBD/testDRBDfile
Hello World
Legion  2015-05-23 22:45:07
[root@ZhongH6100 drbd.d]#

?、更换node1为从节点、node2为主节点
 卸载DRBD分区且更换node1为从节点

[root@ZhongH6100 drbd.d]# umount /DRBD/
[root@ZhongH6100 drbd.d]# drbdadm secondary web
[root@ZhongH6100 drbd.d]# drbdadm role web
Secondary/Secondary
[root@ZhongH6100 drbd.d]#

[root@ZhongH7100 drbd.d]# drbdadm primary web
[root@ZhongH7100 drbd.d]# drbdadm role web
Primary/Secondary
[root@ZhongH7100 drbd.d]# drbd-overview
  0:web/0  Connected Primary/Secondary UpToDate/UpToDate C r-----
[root@ZhongH7100 drbd.d]#



 ?、挂载节点二，查看文件是否同步了 HOHO~~

[root@ZhongH7100 drbd.d]# mkdir /DRBD
[root@ZhongH7100 drbd.d]# mount /dev/drbd0 /DRBD
[root@ZhongH7100 drbd.d]# ls -l /DRBD
总用量 20
drwx------ 2 root root 16384 5月  23 22:41 lost+found
-rw-r--r-- 1 root root    39 5月  23 22:45 testDRBDfile
[root@ZhongH7100 drbd.d]# date
2015年 05月 23日 星期六 22:55:00 CST
[root@ZhongH7100 drbd.d]# cat /DRBD/testDRBDfile
Hello World
Legion  2015-05-23 22:45:07
[root@ZhongH7100 drbd.d]#

到此我们的DRBD的两个节点就配置好了，也测试成功能同步了

原地址：http://www.dwhd.org/20150523_150831.html

DRBD 高可用配置详解(转)

标签：

原文地址：http://www.cnblogs.com/rainy-shurun/p/5335843.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行