码迷，mamicode.com
首页 > 数据库 > 详细

drbd mysql

时间：2017-11-05 23:31:42      阅读：235      评论：0      收藏：0      [点我收藏+]

标签：策略   ecs   相关   options   port   cti   attribute   mod   格式   

使用drbd前 升级内核

yum install kernel* 

重启

 

4.1、准备： 
两个节点ha-node1和ha-node2均按照centos7.0系统，每个节点两块磁盘，一块用作根分区一块用作drbd

192.168.8.51 ha-node1
192.168.8.52 ha-node2
  • 1
  • 2
  • 3

修改主机名： 
节点1

# hostnamectl set-hostname ha-node1
# su -l
  • 1
  • 2
  • 3

节点2

# hostnamectl set-hostname ha-node2
# su -l
  • 1
  • 2
  • 3

4.2、磁盘分区如下

[root@ha-node2 corosync]# lsblk 
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0  500M  0 part /boot
└─sda2            8:2    0 19.5G  0 part 
  ├─centos-swap 253:0    0    2G  0 lvm  [SWAP]
  └─centos-root 253:1    0 17.5G  0 lvm  /
sdb               8:16   0   20G  0 disk 
sr0              11:0    1 1024M  0 rom  
[root@ha-node1 corosync]# lsblk 
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0  500M  0 part /boot
└─sda2            8:2    0 19.5G  0 part 
  ├─centos-swap 253:0    0    2G  0 lvm  [SWAP]
  └─centos-root 253:1    0 17.5G  0 lvm  /
sdb               8:16   0   20G  0 disk 
sr0              11:0    1 1024M  0 rom
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

4.3、创建lvm（每个节点都需执行）

# pvcreate /dev/sdb
# vgcreate data /dev/sdb
# lvcreate --size 2G --name mysql data
  • 1
  • 2
  • 3
  • 4

4.4、关闭防火墙（每个节点都需执行）

setenforce 0
sed -i.bak "s/SELINUX=enforcing/SELINUX=permissive/g" /etc/selinux/config
systemctl disable firewalld.service
systemctl stop firewalld.service
iptables --flush
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

4.5、配置hosts文件

echo ‘192.168.8.51 ha-node1 ‘ >>/etc/hosts
echo ‘192.168.8.52 ha-node2 ‘ >>/etc/hosts
  • 1
  • 2
  • 3

4.6、配置ntp（10.239.44.128为ntp服务器）每个节点都需执行

# chkconfig chronyd off
# chkconfig ntpd on  
# sed -i "/^server\ 3.centos.pool/a server\ 10.239.44.128 " /etc/ntp.conf 
# service ntpd start
# ntpq -p
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

4.6、配置互信（每个节点都需执行）

# ssh-keygen -t dsa -f ~/.ssh/id_dsa -N ""
# ssh-copy-id ha-node1
# ssh-copy-id ha-node2
  • 1
  • 2
  • 3
  • 4

4.7、安装drbd

# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
# yum install -y kmod-drbd84 drbd84-utils
  • 1
  • 2
  • 3
  • 4

4.8、配置文件介绍 
/etc/drbd.conf #主配置文件 
/etc/drbd.d/global_common.conf #全局配置文件 
a、/etc/drbd.conf说明 
主配置文件中包含了全局配置文件及”drbd.d/”目录下以.res结尾的文件

# You can find an example in  /usr/share/doc/drbd.../drbd.conf.example
include "drbd.d/global_common.conf";
include "drbd.d/*.res";
  • 1
  • 2
  • 3
  • 4

b、/etc/drbd.d/global_common.conf说明

global {
    usage-count no;  #是否参加DRBD使用统计，默认为yes。官方统计drbd的装机量
    # minor-count dialog-refresh disable-ip-verification
}
common {
    protocol C;      #使用DRBD的同步协议
    handlers {
        # These are EXAMPLE handlers only.
        # They may have severe implications,
        # like hard resetting the node under certain circumstances.
        # Be careful when chosing your poison.
        pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
        pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
        local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
        # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
        # split-brain "/usr/lib/drbd/notify-split-brain.sh root";
        # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

        # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
        # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
    }
    startup {
        # wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb
    }
    options {
        # cpu-mask on-no-data-accessible
    }
    disk {
        on-io-error detach; #配置I/O错误处理策略为分离
        # size max-bio-bvecs on-io-error fencing disk-barrier disk-flushes
        # disk-drain md-flushes resync-rate resync-after al-extents
        # c-plan-ahead c-delay-target c-fill-target c-max-rate
        # c-min-rate disk-timeout
    }
    net {

        # protocol timeout max-epoch-size max-buffers unplug-watermark
        # connect-int ping-int sndbuf-size rcvbuf-size ko-count
        # allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri
        # after-sb-1pri after-sb-2pri always-asbp rr-conflict
        # ping-timeout data-integrity-alg tcp-cork on-congestion
        # congestion-fill congestion-extents csums-alg verify-alg
        # use-rle
    }
    syncer {
        rate 1024M;    #设置主备节点同步时的网络速率
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49

注释： on-io-error 策略可能为以下选项之一 
detach 分离：这是默认和推荐的选项，如果在节点上发生底层的硬盘I/O错误，它会将设备运行在Diskless无盘模式下 
pass_on：DRBD会将I/O错误报告到上层，在主节点上，它会将其报告给挂载的文件系统，但是在此节点上就往往忽略（因此此节点上没有可以报告的上层） 
-local-in-error：调用本地磁盘I/O处理程序定义的命令；这需要有相应的local-io-error调用的资源处理程序处理错误的命令；这就给管理员有足够自由的权力命令命令或是脚本调用local-io-error处理I/O错误 
定义一个资源 
c、创建/etc/drbd.d/mysql.res并写入

resource mysql { #资源名称
protocol C; #使用协议
meta-disk internal;
device /dev/drbd1; #DRBD设备名称
syncer {
verify-alg sha1;# 加密算法
}
net {
allow-two-primaries;
}
on ha-node1 {
disk /dev/data/mysql; drbd1使用的磁盘分区为"mysql"
address 192.168.8.51:7789; #设置DRBD监听地址与端口
}
on ha-node2 {
disk /dev/data/mysql;
address 192.168.8.52:7789;
}
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20

4.9、将配置文件拷贝到node2上

# scp -rp  /etc/drbd.d/* ha-node2:/etc/drbd.d/
  • 1

4.10、启用drbd

# drbdadm create-md mysql
# modprobe drbd
# drbdadm up mysql
# drbdadm -- --force primary mysql
  • 1
  • 2
  • 3
  • 4
  • 5

查看状态

# cat /proc/drbd
  • 1

4.11、配置对端节点

ssh ha-node2 “drbdadm create-md mysql”
ssh ha-node2 “modprobe drbd”
ssh ha-node2 “drbdadm up mysql”
  • 1
  • 2
  • 3
  • 4

4.12、格式化设备并挂载

# mkfs.xfs /dev/drbd1
# mount /dev/drbd1 /mnt
  • 1
  • 2
  • 3

五、相关配置操作 
6.1、资源的连接状态详细介绍 
如何查看资源连接状态？

[root@ha-node1 ~]# drbdadm cstate mysql  #mysql为资源名称
WFConnection
  • 1
  • 2
  • 3

资源的连接状态；一个资源可能有以下连接状态中的一种 
StandAlone 独立的：网络配置不可用；资源还没有被连接或是被管理断开（使用 drbdadm disconnect 命令），或是由于出现认证失败或是脑裂的情况 
Disconnecting 断开：断开只是临时状态，下一个状态是StandAlone独立的 
Unconnected 悬空：是尝试连接前的临时状态，可能下一个状态为WFconnection和WFReportParams 
Timeout 超时：与对等节点连接超时，也是临时状态，下一个状态为Unconected悬空 
BrokerPipe：与对等节点连接丢失，也是临时状态，下一个状态为Unconected悬空 
NetworkFailure：与对等节点推动连接后的临时状态，下一个状态为Unconected悬空 
ProtocolError：与对等节点推动连接后的临时状态，下一个状态为Unconected悬空 
TearDown 拆解：临时状态，对等节点关闭，下一个状态为Unconected悬空 
WFConnection：等待和对等节点建立网络连接 
WFReportParams：已经建立TCP连接，本节点等待从对等节点传来的第一个网络包 
Connected 连接：DRBD已经建立连接，数据镜像现在可用，节点处于正常状态 
StartingSyncS：完全同步，有管理员发起的刚刚开始同步，未来可能的状态为SyncSource或PausedSyncS 
StartingSyncT：完全同步，有管理员发起的刚刚开始同步，下一状态为WFSyncUUID 
WFBitMapS：部分同步刚刚开始，下一步可能的状态为SyncSource或PausedSyncS 
WFBitMapT：部分同步刚刚开始，下一步可能的状态为WFSyncUUID 
WFSyncUUID：同步即将开始，下一步可能的状态为SyncTarget或PausedSyncT 
SyncSource：以本节点为同步源的同步正在进行 
SyncTarget：以本节点为同步目标的同步正在进行 
PausedSyncS：以本地节点是一个持续同步的源，但是目前同步已经暂停，可能是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步 
PausedSyncT：以本地节点为持续同步的目标，但是目前同步已经暂停，这可以是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步 
VerifyS：以本地节点为验证源的线上设备验证正在执行 
VerifyT：以本地节点为验证目标的线上设备验证正在执行 
5.2、资源角色 
查看资源角色命令

[root@ha-node ~]# drbdadm role  mysql
Secondary/Secondary
[root@ha-node1ha-node1 ~]# cat /proc/drbd
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-05-27 04:30:21
 0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:2103412
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

注释： 
Parimary 主：资源目前为主，并且可能正在被读取或写入，如果不是双主只会出现在两个节点中的其中一个节点上 
Secondary 次：资源目前为次，正常接收对等节点的更新 
Unknown 未知：资源角色目前未知，本地的资源不会出现这种状态 
5.3、硬盘状态 
查看硬盘状态命令

[root@ha-node1ha-node1 ~]# drbdadm dstate mysql
Inconsistent/Inconsistent
  • 1
  • 2
  • 3

本地和对等节点的硬盘有可能为下列状态之一： 
Diskless 无盘：本地没有块设备分配给DRBD使用，这表示没有可用的设备，或者使用drbdadm命令手工分离或是底层的I/O错误导致自动分离 
Attaching：读取无数据时候的瞬间状态 
Failed 失败：本地块设备报告I/O错误的下一个状态，其下一个状态为Diskless无盘 
Negotiating：在已经连接的DRBD设置进行Attach读取无数据前的瞬间状态 
Inconsistent：数据是不一致的，在两个节点上（初始的完全同步前）这种状态出现后立即创建一个新的资源。此外，在同步期间（同步目标）在一个节点上出现这种状态 
Outdated：数据资源是一致的，但是已经过时 
DUnknown：当对等节点网络连接不可用时出现这种状态 
Consistent：一个没有连接的节点数据一致，当建立连接时，它决定数据是UpToDate或是Outdated 
UpToDate：一致的最新的数据状态，这个状态为正常状态 
5.4、启用和禁用资源 
手动启用资源

手动启用资源
drbdadm up <resource>
手动禁用资源
drbdadm down <resource>
  • 1
  • 2
  • 3
  • 4
  • 5

注释： 
resource：为资源名称；当然也可以使用all表示[停用|启用]所有资源 
5.5、升级和降级资源

升级资源
drbdadm primary <resource>
降级资源
drbdadm secondary <resource>
  • 1
  • 2
  • 3
  • 4

注释：在单主模式下的DRBD，两个节点同时处于连接状态，任何一个节点都可以在特定的时间内变成主；但两个节点中只能一为主，如果已经有一个主，需先降级才可能升级；在双主模式下没有这个限制 
5.6、初始化设备同步 
选择一个初始同步源；如果是新初始化的或是空盘，这个选择可以是任意的，但是如果其中的一个节点已经在使用并包含有用的数据，那么选择同步源是至关重要的；如果选错了初始化同步方向，就会造成数据丢失，因此需要十分小心 
启动初始化完全同步，这一步只能在初始化资源配置的一个节点上进行，并作为同步源选择的节点上；命令如下：

[root@ha-node1 ~]# drbdadm -- --overwrite-data-of-peer primary mysql
[root@ha-node1 ~]# cat /proc/drbd     #查看同步进度
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-05-27 04:30:21
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
    ns:1897624 nr:0 dw:0 dr:1901216 al:0 bm:115 lo:0 pe:3 ua:3 ap:0 ep:1 wo:f oos:207988
    [=================>..] synced: 90.3% (207988/2103412)K
    finish: 0:00:07 speed: 26,792 (27,076) K/sec
######当同步完成时如以下状态
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-05-27 04:30:21
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:2103412 nr:0 dw:0 dr:2104084 al:0 bm:129 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

注释： drbd：为资源名称 
查看同步进度也可使用以下命令

drbd-overview
  • 1

5.7、创建文件系统 
文件系统只能挂载在主(Primary)节点上，因此在设置好主节点后才可以对DRBD设备进行格式化操作 
格式化文件系统

[root@ha-node1 ~]# mkfs.ext4 /dev/drbd1
  • 1

挂载文件系统

[root@ha-node1 ~]# mount /dev/drbd1 /mnt/
  • 1

查看挂载

[root@ha-node1 ~]# mount |grep drbd1
/dev/drbd1 on /mnt type ext4 (rw)
  • 1
  • 2
  • 3

注释： 
“/dev/drbd1”为资源中定义已定义的资源名称 
查看DRBD状态

[root@ha-node1 ~]# drbd-overview
  0:drbd/0  Connected Primary/Secondary UpToDate/UpToDate C r-----
  • 1
  • 2
  • 3

注释： 
Primary：当前节点为主；在前面为当前节点 
Secondary：备用节点为次 
5.8、切换主备节点 
先把当前主节点降级为次

[root@ha-node1 ~]# drbdadm secondary mysql
  • 1

查看DRBD状态

[root@ha-node1 ~]# drbd-overview
  0:drbd/0  Connected Secondary/Secondary UpToDate/UpToDate C r-----
  • 1
  • 2
  • 3

在HA-NODE2节点升级

[root@ha-node2 ~]# drbdadm primary mysql
  • 1

查看DRBD状态

[root@ha-node2 ~]# drbd-overview
  0:drbd/0  Connected Primary/Secondary UpToDate/UpToDate C r-----
  • 1
  • 2
  • 3

5.9、挂载设备并验证文件是否存在

[root@ha-node2 ~]# mount /dev/drbd1 /mnt/
[root@ha-node2 ~]# ls /mnt/
lost+found  test
  • 1
  • 2
  • 3
  • 4

六、DRBD脑裂的模拟及修复 
注释：我们还接着上面的实验继续进行，现在HA-NODE2为主节点而HA-NODE1为备节点 
6.1、断开主(parmary)节点； 
关机、断开网络或重新配置其他的IP都可以；这里选择的是断开网络 
6.2、查看两节点状态

[root@ha-node2 ~]# drbd-overview
  0:drbd/0  WFConnection Primary/Unknown UpToDate/DUnknown C r----- /mnt ext4 2.0G 68M 1.9G 4%
[root@ha-node1 ~]# drbd-overview
  0:drbd/0  StandAlone Secondary/Unknown UpToDate/DUnknown r-----
  • 1
  • 2
  • 3
  • 4
  • 5

由上可以看到两个节点已经无法通信；HA-NODE2为主节点，HA-NODE1为备节点 
6.3、将HA-NODE1节点升级为主(primary)节点并挂载资源

[root@ha-node1 ~]# drbdadm primary mysql
[root@ha-node1 ~]# drbd-overview
  0:drbd/0  StandAlone Primary/Unknown UpToDate/DUnknown r-----
[root@ha-node1 ~]# mount /dev/drbd1 /mnt/
[root@ha-node1 ~]# mount | grep drbd1
/dev/drbd1 on /mnt type ext4 (rw)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

6.4、假如原来的主(primary)节点修复好重新上线了，这时出现了脑裂情况

[root@ha-node2 ~]# tail -f /var/log/messages
Sep 19 01:56:06 ha-node2 kernel: d-con drbd: Terminating drbd_a_drbd
Sep 19 01:56:06 ha-node2 kernel: block drbd1: helper command: /sbin/drbdadm initial-split-brain minor-0 exit code 0 (0x0)
Sep 19 01:56:06 ha-node2 kernel: block drbd1: Split-Brain detected but unresolved, dropping connection!
Sep 19 01:56:06 ha-node2 kernel: block drbd1: helper command: /sbin/drbdadm split-brain minor-0
Sep 19 01:56:06 ha-node2 kernel: block drbd1: helper command: /sbin/drbdadm split-brain minor-0 exit code 0 (0x0)
Sep 19 01:56:06 ha-node2 kernel: d-con drbd: conn( NetworkFailure -> Disconnecting )
Sep 19 01:56:06 ha-node2 kernel: d-con drbd: error receiving ReportState, e: -5 l: 0!
Sep 19 01:56:06 ha-node2 kernel: d-con drbd: Connection closed
Sep 19 01:56:06 ha-node2 kernel: d-con drbd: conn( Disconnecting -> StandAlone )
Sep 19 01:56:06 ha-node2 kernel: d-con drbd: receiver terminated
Sep 19 01:56:06 ha-node2 kernel: d-con drbd: Terminating drbd_r_drbd
Sep 19 01:56:18 ha-node2 kernel: block drbd1: role( Primary -> Secondary )
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

6.5、再次查看两节点的状态

[root@ha-node1 ~]# drbdadm role drbd
Primary/Unknown
[root@ha-node2 ~]# drbdadm role mysql
Primary/Unknown
  • 1
  • 2
  • 3
  • 4
  • 5

6.6、查看HA-NODE1与HA-NODE2连接状态

root@ha-node1 ~]# drbd-overview
  0:mysql/0  StandAlone Primary/Unknown UpToDate/DUnknown r----- /mnt ext4 2.0G 68M 1.9G 4%
[root@ha-node2 ~]# drbd-overview
  0:mysql/0  WFConnection Primary/Unknown UpToDate/DUnknown C r----- /mnt ext4 2.0G 68M 1.9G 4%
  • 1
  • 2
  • 3
  • 4
  • 5

由上可见，状态为StandAlone时，主备节点是不会通信的 
6.7、在HA-NODE1备用节点处理办法

[root@ha-node1 ~]# umount /mnt/
[root@ha-node1 ~]# drbdadm disconnect drbd
drbd: Failure: (162) Invalid configuration request
additional info from kernel:
unknown connection
Command ‘drbdsetup disconnect ipv4:192.168.137.225:7789 ipv4:192.168.137.222:7789‘ terminated with exit code 10
[root@ha-node1 ~]# drbdadm secondary drbd
[root@ha-node1 ~]# drbd-overview
  0:drbd/0  StandAlone Secondary/Unknown UpToDate/DUnknown r-----
[root@ha-node1 ~]# drbdadm connect --discard-my-data drbd
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

执行完以上三步后，你查看会发现还是不可用

[root@ha-node1 ~]# drbd-overview
  0:drbd/0  WFConnection Secondary/Unknown UpToDate/DUnknown C r-----
  • 1
  • 2
  • 3

6.8、需要在HA-NODE2节点上重新建立连接资源

[root@ha-node2 ~]# drbdadm connect drbd
  • 1

查看节点连接状态

[root@ha-node2 ~]# drbd-overview
  0:mysql/0  Connected Primary/Secondary UpToDate/UpToDate C r----- /mnt ext4 2.0G 68M 1.9G 4%
[root@ha-node1 ~]# drbd-overview
  0:mysql/0  Connected Secondary/Primary UpToDate/UpToDate C r-----

drbd mysql

标签：策略   ecs   相关   options   port   cti   attribute   mod   格式   

原文地址：http://www.cnblogs.com/mhc-fly/p/7789175.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！