DRBD实现文件同步详解

标签：drbd

????Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。其核心功能通过Linux的内核实现，比文件系统更加靠近操作系统内核及IO栈。DRBD是由内核模块和相关脚本而构成，用以构建高可用性的集群。可以理解为网络RAID1.

复制原理

????每个设备（drbd 提供了不止一个设备）都有一个状态，可能是‘主’状态或‘从’状态。在主节点上，应用程序应能运行和访问drbd设备（/dev/drbd*）。每次写入都会发往本地磁盘设备和从节点设备中。从节点只能简单地把数据写入它的磁盘设备上。 读取数据通常在本地进行。 如果主节点发生故障，心跳（heartbeat或corosync）将会把从节点转换到主状态，并启动其上的应用程序。（如果您将它和无日志FS 一起使用，则需要运行fsck）。如果发生故障的节点恢复工作，它就会成为新的从节点，而且必须使自己的内容与主节点的内容保持同步。当然，这些操作不会干扰到后台的服务

?

1、复制方式

单主模式 任何特定时间范围内，集群只存在一个主节点，可用于任何文件系统上，包括ext3、ext4等

双主模式 任何特定时间范围内，集群存在两个主节点，不过这种模式需要借助一个共享的文件系统，如GFS和MFS等

2、复制协议

协议A：异步复制协议。本地写成功后立即返回，数据放在发送buffer中，可能丢失。

协议B：内存同步（半同步）复制协议。本地写成功并将数据发送到对方后立即返回，如果双机掉电，数据可能丢失。

协议C：同步复制协议。本地和对方写成功确认后返回。如果双机掉电或磁盘同时损坏，则数据可能丢失。对网络依赖比较大。?

配置工具

drbdadm：高级管理工具，管理/etc/drbd.conf，向drbdsetup和drbdmeta发送指令。

drbdsetup：配置装载进kernel的DRBD模块，平时很少直接用。

drbdmeta：管理META数据结构，平时很少直接用。

配置文件

????DRBD的主配置文件为/etc/drbd.conf；为了管理的便捷性，目前通常会将些配置文件分成多个部分，且都保存至/etc/drbd.d目录中，主配置文件中仅使用"include"指令将这些配置文件片断整合起来。通常，/etc/drbd.d目录中的配置文件为global_common.conf和所有以.res结尾的文件。其中global_common.conf中主要定义global段和common段，而每一个.res的文件用于定义一个资源。

在配置文件中，global段仅能出现一次，且如果所有的配置信息都保存至同一个配置文件中而不分开为多个文件的话，global段必须位于配置文件的最开始处。目前global段中可以定义的参数仅有minor-count, dialog-refresh, disable-ip-verification和usage-count。

??? common段则用于定义被每一个资源默认继承的参数，可以在资源定义中使用的参数都可以在common段中定义。实际应用中，common段并非必须，但建议将多个资源共享的参数定义为common段中的参数以降低配置文件的复杂度。

??? resource段则用于定义drbd资源，每个资源通常定义在一个单独的位于/etc/drbd.d目录中的以.res结尾的文件中。资源在定义时必须为其命名，名字可以由非空白的ASCII字符组成。每一个资源段的定义中至少要包含两个host子段，以定义此资源关联至的节点，其它参数均可以从common段或drbd的默认中进行继承而无须定义。各个对等节点之间需要进行数据通信，所以需要配置主机互信机制。

????资源角色有primary、secondary两种。primary可以进行不受限制的读和写操作，可用来创建和挂载文件系统、初始化I/O的块设备。secondary接收所有来自对等节点的更新，不能被应用也不能被读写访问。主要目的是保持缓冲及数据一致性。

人工干预和管理程序的自动聚类算法都可以改变资源的角色。资源可以由被变换为主，以及主到备。

?

脑裂通知和自动恢复

????split brain实际上是指在某种情况下，造成drbd的两个节点断开连接，都以primary的身份来运行。当drbd某primary节点连接对方节点准备发送信息的时候如果发现对方也是primary状态，那么会立刻自行断开连接，并认定当前已经发生split brain了，这时候他会在系统日志中记录以下信息：“Split-Brain detected,dropping connection!”当发生split brain之后，如果查看连接状态，其中至少会有一个是StandAlone状态，另外一个可能也是StandAlone（如果是同时发现split brain状态），也有可能是WFConnection的状态。

?

drbd 脑裂主要在 net 配置，有以下关键字：

after-sb-0pri：裂脑已经被探测到，但是现在没有节点处于主角色，对于这个选项， drbd 有以下关键字：

????disconnect:

????????不需要自动恢复，仅仅是调用裂脑处理程序的脚本（如果配置了），断开连接并出在断开模式。

????discard-younger-primary:

????????放弃和回滚最后成为主的上面所做的修改。

????discard-least-changes:

????????放弃和回滚，变动比较少的主机上的修改。

????discard-zero-changes:

????????如果任何节点都没有发生任何变化，仅仅申请在一个节点上做出继续修改即可。

?

????after-sb-1pri：裂脑已经被探测到，现有有一个节点处于主角色，对于这个选项， drbd 有以下关键字：

????disconnect:和 after-sb-0pri 一样， 调用裂脑处理程序的脚本（如果配置了），断开连接并出在断开模式。

????consensus:和 after-sb-0pri 中同样的修复策略。 如果利用这些策略裂脑危害能选择，那就能自动解决。 否则，同样断开指定的动作。

????call-pri-lost-after-sb:和 after-sb-0pri 中同样的修复策略。如果利用这些策略裂脑危害能选择，就在受危害的节点上调用

????pri-lost-after-sb 程序。这个程序必须确认在 handlers 中配置，并考虑到从集群中移除该节点。

????discard-secondary:不管哪个主机只要处于次角色，都是裂脑的危害者。

????after-sb-2pri：在两个节点都处于主角色时，裂脑被发现。次选项使用和after-sb-1pri同样的关键字，丢弃次节点并达成共识。

二、配置过程

1、修改主机名

[root@MidApp?~]#?cat?/etc/hosts
127.0.0.1???localhost?localhost.localdomain?localhost4?localhost4.localdomain4
::1?????????localhost?localhost.localdomain?localhost6?localhost6.localdomain6
192.168.221.161?MidApp
192.168.221.160?DB

2、配置两台机器的互信机制

[root@MidApp?~]#?ssh-keygen?
Generating?public/private?rsa?key?pair.
Enter?file?in?which?to?save?the?key?(/root/.ssh/id_rsa):?
Enter?passphrase?(empty?for?no?passphrase):?
Enter?same?passphrase?again:?
Your?identification?has?been?saved?in?/root/.ssh/id_rsa.
Your?public?key?has?been?saved?in?/root/.ssh/id_rsa.pub.
The?key?fingerprint?is:
0c:39:e2:6d:cf:02:b9:94:7b:1f:b7:6f:b1:49:3d:a1?root@MidApp
The?key‘s?randomart?image?is:
+--[?RSA?2048]----+
|?????????????????|
|???????.?????????|
|????.?+??????????|
|???.?=?+??????.??|
|????*?o?S????o?.?|
|???.?=?o????E?o??|
|????o?o?+?..?+?.?|
|?????.?o?o?.+????|
|????????.?.o.????|
+-----------------+
[root@MidApp?pgsql]#?ssh-copy-id?192.168.221.160
root@192.168.221.160‘s?password:?
Now?try?logging?into?the?machine,?with?"ssh?‘192.168.221.160‘",?and?check?in:
?
??.ssh/authorized_keys
?
to?make?sure?we?haven‘t?added?extra?keys?that?you?weren‘t?expecting.
?
[root@MidApp?pgsql]#?ssh?DB
The?authenticity?of?host?‘db?(192.168.221.160)‘?can‘t?be?established.
RSA?key?fingerprint?is?3c:83:03:dc:63:6e:f3:e1:db:db:43:fc:c3:03:19:c2.
Are?you?sure?you?want?to?continue?connecting?(yes/no)??yes
Warning:?Permanently?added?‘db‘?(RSA)?to?the?list?of?known?hosts.
Last?login:?Mon?Dec??4?20:00:47?2017?from?172.30.25.29

3、设置时钟同步

[root@MidApp?~]#?crontab?-l
*/5?*?*?*?*?ntpdate?cn.pool.ntp.org

4、安装DRBD程序包

yum?install?-y?glibc?
rpm?--import?https://www.elrepo.org/RPM-GPG-KEY-elrepo.org?
rpm?-Uvh?http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm
yum?install?-y?kmod-drbd84?drbd84-utils

若遇到下面问题，要安装nss

[root@MidApp?~]#?rpm?--import?https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
curl:?(35)?SSL?connect?error
error:?https://www.elrepo.org/RPM-GPG-KEY-elrepo.org:?import?read?failed(2).
[root@MidApp?pgsql]#?yum?update?nss

注：前4步，两个节点做相同操作

5、修改全局配置文件

[root@MidApp?~]#?cat?/etc/drbd.d/global_common.conf?
?
global?{
usage-count?no;
}
?
common?{
protocol?C;
handlers?{
?
?pri-on-incon-degr?"/usr/lib/drbd/notify-pri-on-incon-degr.sh;?/usr/lib/drbd/notify-emergency-reboot.sh;?echo?b?>?/proc/sysrq-trigger?;?reboot?-f";
?pri-lost-after-sb?"/usr/lib/drbd/notify-pri-lost-after-sb.sh;?/usr/lib/drbd/notify-emergency-reboot.sh;?echo?b?>?/proc/sysrq-trigger?;?reboot?-f";
?local-io-error?"/usr/lib/drbd/notify-io-error.sh;?/usr/lib/drbd/notify-emergency-shutdown.sh;?echo?o?>?/proc/sysrq-trigger?;?halt?-f";
split-brain?"/usr/lib/drbd/notify-split-brain.sh?root";
}
?
startup?{
#?wfc-timeout?degr-wfc-timeout?outdated-wfc-timeout?wait-after-sb
}
?
options?{
#?cpu-mask?on-no-data-accessible
}
?
disk?{
on-io-error?detach;?#配置I/O错误处理策略为分离
}
?
net?{
after-sb-0pri?discard-zero-changes;#如果任何节点都没有发生任何变化，仅仅申请在一个节点上做出继续修改即可
after-sb-1pri?discard-secondary;
after-sb-2pri?disconnect;
}
syncer?{
????????rate?1024M;????#设置主备节点同步时的网络速率
????}
}

6、创建资源配置文件

[root@MidApp?~]#?cat?/etc/drbd.d/mysql.res?
resource?mysql?{
protocol?C;
meta-disk?internal;
device?/dev/drbd1;#相关的块设备需命名为/dev/drbdm，其中m是设备的次要号码
syncer?{
verify-alg?sha1;#支持复制传输数据完整性验证（MD5、SHA-1、CRC-32C）
}
net?{
allow-two-primaries;
}
on?MidApp?{
disk?/dev/sdb1;?#在node1创建的分区
address?192.168.221.161:7789;
}
on?DB?{
disk?/dev/sdb1;?#在node2创建的分区
address?192.168.221.160:7789;
}
}

7、把配置文件拷贝到另一台机器

scp?-rp??/etc/drbd.d/*?DB:/etc/drbd.d/

8、提前添加一块硬盘，创建分区

[root@MidApp?~]#?fdisk?/dev/sdb?
Device?contains?neither?a?valid?DOS?partition?table,?nor?Sun,?SGI?or?OSF?disklabel
Building?a?new?DOS?disklabel?with?disk?identifier?0xa2f4da2f.
Changes?will?remain?in?memory?only,?until?you?decide?to?write?them.
After?that,?of?course,?the?previous?content?won‘t?be?recoverable.
?
Warning:?invalid?flag?0x0000?of?partition?table?4?will?be?corrected?by?w(rite)
?
WARNING:?DOS-compatible?mode?is?deprecated.?It‘s?strongly?recommended?to
?????????switch?off?the?mode?(command?‘c‘)?and?change?display?units?to
?????????sectors?(command?‘u‘).
?
Command?(m?for?help):?n
Command?action
???e???extended
???p???primary?partition?(1-4)
p
Partition?number?(1-4):?1
First?cylinder?(1-261,?default?1):?
Using?default?value?1
Last?cylinder,?+cylinders?or?+size{K,M,G}?(1-261,?default?261):?
Using?default?value?261
Command?(m?for?help):?p
?
Disk?/dev/sdb:?2147?MB,?2147483648?bytes
255?heads,?63?sectors/track,?261?cylinders
Units?=?cylinders?of?16065?*?512?=?8225280?bytes
Sector?size?(logical/physical):?512?bytes?/?512?bytes
I/O?size?(minimum/optimal):?512?bytes?/?512?bytes
Disk?identifier:?0xa2f4da2f
?
???Device?Boot??????Start?????????End??????Blocks???Id??System
/dev/sdb1???????????????1?????????261?????2096451???83??Linux
?
Command?(m?for?help):?w
The?partition?table?has?been?altered!
?
Calling?ioctl()?to?re-read?partition?table.
Syncing?disks.
You?have?new?mail?in?/var/spool/mail/root

9、在161机器上启动DRBD

[root@MidApp?~]#?drbdadm?create-md?mysql
initializing?activity?log
NOT?initializing?bitmap
Writing?meta?data...
New?drbd?meta?data?block?successfully?created.

10、内核加载DRBD模块

[root@MidApp?~]#?modprobe?drbd
[root@MidApp?~]#?drbdadm?up?mysql
[root@MidApp?~]#??lsmod?|?grep?drbd
drbd??????????????????374888??2?
libcrc32c???????????????1246??1?drbd

11、让161机器为primary节点

[root@MidApp?~]#?drbdadm?--?--force?primary?mysql

12、让160机器同样操作

[root@DB?~]#?drbdadm?create-md?mysql
[root@DB?~]#?modprobe?drbd
[root@DB?~]#?drbdadm?up?mysql

?

13、创建一个/mydata目录

mkdir?-p?/mydata

14、格式化设备并挂载

[root@MidApp?~]#?mkfs.ext4?/dev/drbd1
mke2fs?1.41.12?(17-May-2010)
Filesystem?label=
OS?type:?Linux
Block?size=4096?(log=2)
Fragment?size=4096?(log=2)
Stride=0?blocks,?Stripe?width=0?blocks
131072?inodes,?524087?blocks
26204?blocks?(5.00%)?reserved?for?the?super?user
First?data?block=0
Maximum?filesystem?blocks=536870912
16?block?groups
32768?blocks?per?group,?32768?fragments?per?group
8192?inodes?per?group
Superblock?backups?stored?on?blocks:?
32768,?98304,?163840,?229376,?294912
?
Writing?inode?tables:?done????????????????????????????
Creating?journal?(8192?blocks):?done
Writing?superblocks?and?filesystem?accounting?information:?done
?
This?filesystem?will?be?automatically?checked?every?27?mounts?or
180?days,?whichever?comes?first.??Use?tune2fs?-c?or?-i?to?override.
You?have?new?mail?in?/var/spool/mail/root
[root@MidApp?~]#?mount?/dev/drbd1?/mydata
[root@MidApp?~]#?df?-h
Filesystem??????Size??Used?Avail?Use%?Mounted?on
/dev/sda2????????18G???12G??4.6G??73%?/
tmpfs???????????491M???72K??491M???1%?/dev/shm
/dev/sda1???????283M???59M??209M??23%?/boot
/dev/drbd1??????2.0G??3.0M??1.9G???1%?/mydata

15、查看状态

[root@MidApp?~]#?drbd-overview?
?1:mysql/0??Connected?Primary/Secondary?UpToDate/UpToDate?/mydata?ext4?2.0G?3.0M?1.9G?1%

?也可以通过下面方式查看

[root@MidApp?~]#?cat?/proc/drbd?
version:?8.4.9-1?(api:1/proto:86-101)
GIT-hash:?9976da086367a2476503ef7f6b13d4567327a280?build?by?mockbuild@Build64R6,?2016-12-13?18:38:15
?1:?cs:Connected?ro:Primary/Secondary?ds:UpToDate/UpToDate?C?r-----
????ns:2162724?nr:120?dw:66496?dr:2098842?al:25?bm:0?lo:0?pe:0?ua:0?ap:0?ep:1?wo:f?oos:0

16、写入测试数据

[root@MidApp?~]#?echo?"123"?>?/mydata/test.txt?
[root@MidApp?~]#?cat?/mydata/test.txt?
123

17、将161机器解除挂载，并降级为secondary

[root@MidApp?~]#?umount?/mydata
[root@MidApp?~]#?drbdadm?secondary?mysql?
[root@MidApp?~]#?drbd-overview?
?1:mysql/0??Connected?Secondary/Secondary?UpToDate/UpToDate

注：在单主模式下的DRBD，两个节点同时处于连接状态，任何一个节点都可以在特定的时间内变成主；但两个节点中只能一为主，如果已经有一个主，需先降级才可能升级

?

18、将160节点升为primary节点，并挂载

[root@DB?~]#?drbdadm?primary?mysql
[root@DB?~]#?mount?/dev/drbd1?/mydata/

19、查看状态

[root@DB?~]#?drbd-overview
?1:mysql/0??Connected?Primary/Secondary?UpToDate/UpToDate?/mydata?ext4?2.0G?3.0M?1.9G?1%?
[root@DB?~]#?df?-h
Filesystem??????Size??Used?Avail?Use%?Mounted?on
/dev/sda3????????36G???22G???12G??66%?/
tmpfs???????????774M???72K??774M???1%?/dev/shm
/dev/sda1???????283M???69M??200M??26%?/boot
/dev/drbd1??????2.0G??3.0M??1.9G???1%?/mydata

20、验证数据

[root@DB?~]#?cat?/mydata/test.txt?
123

至此，DRBD环境搭建完成！

?

?

?

DRBD实现文件同步详解

标签：drbd

原文地址：http://blog.51cto.com/qingmiao/2048524