MySQL集群之Fabric部署使用

标签：mysql   fabric   集群部署   主从   分片   

Fabric是Oracle公司开发的既有分片又有读写分离的MySQL集群管理工具，虽然个人觉得目前版本还有很多缺陷，但应该会逐步完善，将来会是一个不错的工具。

第一步：下载并安装 Fabric

Fabric可以从MySQL官网下载，她属于MySQL Utilites里，官方下载地址是http://dev.mysql.com/downloads/utilities/

我下载的是源码版的，mysql-utilities-1.5.6.zip，因为是Python所写，所以安装跟C语言的不同：

$ unzip mysql-utilities-1.5.6.zip
$ cd mysql-utilities-1.5.6/
$ python setup.py build
$ sudo python setup.py install

安装好后，原先的python脚本去掉了py后缀，默认放在/usr/local/bin/目录下，可直接执行。

第一步：MySQL5.6 多实例部署

运行Fabric前，我们要先准备若干各数据库，根据我们的需要配置不同数量的数据库，我们先部署基本的读写分离的主从方式，Fabric的需要的利用MySQL的GTID特性进行主从复制，因此需要MySQL5.6以上版本，另外由于MariaDB的GTID特性跟MySQL不同，Fabric不支持MariaDB，所以只能MySQL5.6以上版本。

我们至少需要部署3各MySQL实例，

TIP：由于我在一台电脑上启动了很多数据库，因此将数据文件都放在了内存硬盘中，我的机器默认有的是/dev/shm，其他的机器根据会有所不同，如/run/shm等，这个路径选择无关紧要，只要事先创建父目录。因为使用内存硬盘，MySQL自身的内存需求降低，我降低了MySQL需要的内存使用量，这个也根据自己的情况选择。注：生产环境不可这样配置。

主从数据库部署可以参考文章：http://bangbangba.blog.51cto.com/3180873/1701857

和 http://bangbangba.blog.51cto.com/3180873/1702294 

下面我们还是先修改配置文件，需要修改的内容如下：（以fa00.cnf举例）

# 请自行调整前面6行的数字，每个数据库都不能相同，
[client]
port            = 10000
socket          = /tmp/fa00.sock

[mysqld]
port            = 10000
socket          = /tmp/fa00.sock
datadir         = /dev/shm/data/fa00
server-id       = 10000
user            = lyw

# 主从复制相关
log-bin=mysql-bin
gtid-mode               = on
log-slave-updates       = true
enforce-gtid-consistency= true

# 文件、内存大小，节约内存。
innodb_buffer_pool_size = 32M
innodb_log_file_size    = 5M

修改好3个文件配置文件 fa00.cnf，fa11.cnf，fa12.cnf 后，我们初始化数据，并且启动，这次我们采用批量操作的方式，减少工作量。在mysql目录下创建如下脚本init_start.sh和初始化数据库文件fabric.sql，并执行init_start.sh，即可创建所有数据库，并启动。

fabric.sql 内容为：

use mysql;
delete from user where user=‘‘;
flush privileges;
grant all on *.* to ‘fabric‘@‘%‘ identified by ‘123456‘;
create database lyw;
reset master;

init_start.sh 内容为：

#! /bin/bash
mkdir -p /dev/shm/data
for cnf in `ls fabric/*.cnf`
do
        scripts/mysql_install_db --defaults-file=$cnf
        bin/mysqld --defaults-file=$cnf &
done

# 等待一下，让mysqld启动完成，
sleep 3

for cnf in `ls fabric/*.cnf`
do
        bin/mysql --defaults-file=$cnf -uroot < fabric.sql
done

可以启动mysql客户端检查下数据库是否都初始化好。Fabric不需要主动执行change master to这行sql语句来开启主从，而是交由Fabric自身去执行。到此数据库以准备好，接下来开始真正的Fabric配置。

第三步：Fabric 读写分离主从配置

fabric的默认配置文件路径为/usr/local/etc/mysql/fabric.cfg，其他安装方法会是/etc/mysql/fabric.cfg（其他系统根据自己情况配置）因此为了方便后面的操作，我们还是使用这个配置文件，当然也可以用--config 参数指定配置文件。

fabric.cfg内容如下：

[DEFAULT]
prefix = /usr/local
sysconfdir = /usr/local/etc
logdir = /var/log

# storage 配置的是fabric元数据存储的数据库
[storage]
address = localhost:10000
user = fabric
password = 123456
database = fabric
auth_plugin = mysql_native_password
connection_timeout = 6
connection_attempts = 6
connection_delay = 1

[servers]
user = fabric
password = 123456
backup_user = fabric_backup
backup_password = secret
restore_user = fabric_restore
restore_password = secret
unreachable_timeout = 5

# fabric对外的协议，这里是xmlrpc协议
[protocol.xmlrpc]
address = localhost:32274
threads = 5
user = lyw
password = 123456
disable_authentication = yes
realm = MySQL Fabric
ssl_ca = 
ssl_cert = 
ssl_key = 

# fabric对外的协议，这里是mysql协议，能用mysql连接，但是不能跟普通数据库一样操作
[protocol.mysql]
address = localhost:32275
user = lyw
password = 123456
disable_authentication = yes
ssl_ca = 
ssl_cert = 
ssl_key = 

[executor]
executors = 5

[logging]
level = INFO
url = file:///var/log/fabric.log

[sharding]
mysqldump_program = /usr/bin/mysqldump
mysqlclient_program = /usr/bin/mysql

[statistics]
prune_time = 3600

[failure_tracking]
notifications = 300
notification_clients = 50
notification_interval = 60
failover_interval = 0
detections = 3
detection_interval = 6
detection_timeout = 1
prune_time = 3600

[connector]
ttl = 1

配置好后，需要初始化fabric的元数据

$ mysqlfabric manage setup
。。。。。。
Finishing initial setup
=======================
Password for admin user is not yet set.
Password for admin/xmlrpc:                 这里需要设置admin的密码
Repeat Password:                           重复输入密码
Password set.
Password set.

这时fa00这个数据库已经有了fabric的元数据，我们可以用客户端查看。

然后启动

$ mysqlfabric manage start

自此虽然启动了fabric，但是还没有和前面配置的后两个业务数据库产生联系，接下来我们需要用命令行建立联系。我先看一下mysqlfabric的分组相关帮助，

$ mysqlfabric help group

Commands available in group ‘group‘ are:
    group activate group_id  [--synchronous] 
    group description group_id  [--description=NONE] [--synchronous] 
    group deactivate group_id  [--synchronous] 
    group create group_id  [--description=NONE] [--synchronous] 
    group remove group_id server_id  [--synchronous] 
    group add group_id address  [--timeout=NONE] [--update_only] [--synchronous] 
    group health group_id  
    group lookup_servers group_id  [--server_id=NONE] [--status=NONE] [--mode=NONE] 
    group destroy group_id  [--synchronous] 
    group demote group_id  [--update_only] [--synchronous] 
    group promote group_id  [--slave_id=NONE] [--update_only] [--synchronous] 
    group lookup_groups  [--group_id=NONE]

我们首先需要创建一个组group-1，

$ mysqlfabric group create group-1

然后将两个业务数据库放入这个组中：

$ mysqlfabric group add group-1 127.0.0.1:10011
$ mysqlfabric group add group-1 127.0.0.1:10012

然后可以查看这时group-1这个组的状态

$ mysqlfabric group lookup_servers group-1
Fabric UUID:  5ca1ab1e-a007-feed-f00d-cab3fe13249e
Time-To-Live: 1

                         server_uuid         address    status      mode weight
------------------------------------ --------------- --------- --------- ------
d4919ca2-754a-11e5-8a5e-34238703623c 127.0.0.1:10011 SECONDARY READ_ONLY    1.0
d6597f06-754a-11e5-8a5e-34238703623c 127.0.0.1:10012 SECONDARY READ_ONLY    1.0

从status 和 mode 这两个字段可以看出，这个时候刚加入的两个服务器还没有正式生效，都是作为从库只读的身份，我们需要将其中一个数据库提升为可写的主：

$ mysqlfabric group promote group-1

$ mysqlfabric group lookup_servers group-1
Fabric UUID:  5ca1ab1e-a007-feed-f00d-cab3fe13249e
Time-To-Live: 1

                         server_uuid         address    status       mode weight
------------------------------------ --------------- --------- ---------- ------
d4919ca2-754a-11e5-8a5e-34238703623c 127.0.0.1:10011 SECONDARY  READ_ONLY    1.0
d6597f06-754a-11e5-8a5e-34238703623c 127.0.0.1:10012   PRIMARY READ_WRITE    1.0

用promote命令提升后，其中一台会被提升为主数据库，其他的都为从。主从也可以通过mysql客户端查看，在从库执行下面的命令显示如下，主库执行则没有信息

mysql> show slave status \G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 127.0.0.1
                  Master_User: fabric
                  Master_Port: 10012
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 151
               Relay_Log_File: lyw-hp-relay-bin.000002
                Relay_Log_Pos: 361
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
                          。。。。。。

至此主从方式以基本可用，我们迫不及待地想要尝试下客户端如何使用了。

Fabric是python所写，我们这里就用python客户端做例子，直接打开python交互界面

$ python
Python 2.7.9 (default, Apr  2 2015, 15:33:21) 
[GCC 4.9.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import mysql.connector
>>> from mysql.connector import fabric
>>> conn = mysql.connector.connect(fabric={"host":"localhost", "port":32274, "username":"lyw", "password":"123456"}, user="fabric", password="123456", autocommit=True)
>>> conn.set_property(group=‘group-1‘, scope=fabric.SCOPE_GLOBAL, mode=fabric.MODE_READWRITE)
>>> cur = conn.cursor()
>>> cur.execute(‘create database lyw‘)
>>> cur.execute(‘use lyw;‘)
>>> cur.execute(‘create table t1 (id int, v varchar(32))‘)
>>> cur.execute(‘insert into t1 values(1, "aaa"), (2,"bbb")‘)
>>> cur.execute(‘select * from t1‘)
>>> cur.fetchall()
[(1, u‘aaa‘), (2, u‘bbb‘)]

#下面切换到从库下只读数据，这时下面的sql语句是切换到了从库执行，需要重新‘use lyw‘
>>> conn.set_property(group=‘group-1‘, scope=fabric.SCOPE_GLOBAL, mode=fabric.MODE_READONLY)
>>> cur.execute(‘use lyw‘)
>>> cur.execute(‘select * from t1‘)
>>> cur.fetchall()
[(1, u‘aaa‘), (2, u‘bbb‘)]

这个python例子可以很好的看出主从方式下fabric的基本使用，

请勿在从库执行写操作，否则数据会不符合预期，不会同步到主。

此时如果主数据库挂了，那么写操作将不可用，fabric还不会自动切换，要想进行自动切换，需要执行以下命令：

$ mysqlfabric group activate group-1
过几秒钟后
$ mysqlfabric group lookup_servers group-1
Fabric UUID:  5ca1ab1e-a007-feed-f00d-cab3fe13249e
Time-To-Live: 1

                         server_uuid         address  status       mode weight
------------------------------------ --------------- ------- ---------- ------
a30d844d-7550-11e5-8a84-34238703623c 127.0.0.1:10011 PRIMARY READ_WRITE    1.0
a4d66a55-7550-11e5-8a84-34238703623c 127.0.0.1:10012  FAULTY READ_WRITE    1.0

然后我们干掉主库，过几秒种查看状态，可以发现从库以切换为主库。原先的主库变为FAULTY

但是当挂掉的源主库重新启动时，不会自动加入到集群里面，需要先remove，再add回来才行。

$ mysqlfabric group remove group-1 127.0.0.1:10012
$ mysqlfabric group add group-1 127.0.0.1:10012
$ mysqlfabric group lookup_servers group-1
Fabric UUID:  5ca1ab1e-a007-feed-f00d-cab3fe13249e
Time-To-Live: 1

                         server_uuid         address    status       mode weight
------------------------------------ --------------- --------- ---------- ------
a30d844d-7550-11e5-8a84-34238703623c 127.0.0.1:10011   PRIMARY READ_WRITE    1.0
a4d66a55-7550-11e5-8a84-34238703623c 127.0.0.1:10012 SECONDARY  READ_ONLY    1.0

状态变为只读从库，再去查数据，可以发现宕机期间的数据被恢复（需要一定时间）

第四步：分片+主从 部署

我们前面准备了很多脚本，部署已很方便，这里我先拆除前面的数据，重新部署，读者可以根据自己喜好操作。

我们这次要部署如下列表的数据库

我们复制之前的配置文件，修改其中的主要数据，准备好这9个配置文件fa00.cnf ~ fa32.cnf

然后我们我们初始化环境

$ sh init_start.sh
$ mysqlfabric manage setup
$ mysqlfabric manage start

只要3行就初始化完，轻松吧。

然后我们要创建4个fabric组，group-g，group-1，group-2，group-3

$ mysqlfabric group create group-g
$ mysqlfabric group create group-1
$ mysqlfabric group create group-2
$ mysqlfabric group create group-3

将数据库放入这4个组中，

$ mysqlfabric group add group-g 127.0.0.1:10091
$ mysqlfabric group add group-g 127.0.0.1:10092

$ mysqlfabric group add group-1 127.0.0.1:10011
$ mysqlfabric group add group-1 127.0.0.1:10012

$ mysqlfabric group add group-2 127.0.0.1:10021
$ mysqlfabric group add group-2 127.0.0.1:10022

$ mysqlfabric group add group-3 127.0.0.1:10031
$ mysqlfabric group add group-3 127.0.0.1:10032

并且都选出主来

$ mysqlfabric group promote group-g
$ mysqlfabric group promote group-1
$ mysqlfabric group promote group-2
$ mysqlfabric group promote group-3

现在为止只是纯粹的创建了4个独立的组，我们用的命令都是group相关的，接下来就是分片的重头戏了，需要用sharding相关命令，我们还是先来看下sharding的简单帮助

$ mysqlfabric help sharding

Commands available in group ‘sharding‘ are:
    sharding list_definitions  
    sharding remove_definition shard_mapping_id  [--synchronous] 
    sharding move_shard shard_id group_id  [--update_only] [--synchronous] 
    sharding disable_shard shard_id  [--synchronous] 
    sharding remove_table table_name  [--synchronous] 
    sharding split_shard shard_id group_id  [--split_value=NONE] [--update_only] [--synchronous] 
    sharding create_definition type_name group_id  [--synchronous] 
    sharding add_shard shard_mapping_id groupid_lb_list  [--state=DISABLED] [--synchronous] 
    sharding add_table shard_mapping_id table_name column_name  [--synchronous] 
    sharding lookup_table table_name  
    sharding enable_shard shard_id  [--synchronous] 
    sharding remove_shard shard_id  [--synchronous] 
    sharding list_tables sharding_type  
    sharding prune_shard table_name  [--synchronous] 
    sharding lookup_servers table_name key  [--hint=LOCAL]

好，首先我们需要创建一个definition：

$ mysqlfabric sharding create_definition RANGE group-g
Fabric UUID:  5ca1ab1e-a007-feed-f00d-cab3fe13249e
Time-To-Live: 1

                                uuid finished success result
------------------------------------ -------- ------- ------
c106bd7a-e8f8-405e-97ec-6886cec87346        1       1      1

记下result字段的数字1，这个就是shard_mapping_id，后续操作都需要他。

然后增加一个表定义，后面3各参数分别是shard_mapping_id， 表名，分片的字段名

$ mysqlfabric sharding add_table  1  lyw.table1  id

接着增加分片的区间定义，这时才将那3个组用上

$ mysqlfabric sharding add_shard 1 "group-1/0, group-2/10000, group-3/20000" --state=ENABLED

因为我们这里用的是range方式，所以每个组的后面都要加一个分组的起始数字。

后面的--state=ENABLED 表示马上生效。

基于range的分片就创建好了，我们还是迫不及待的去测试一下。我们还是用python交互界面执行

$ python
Python 2.7.9 (default, Apr  2 2015, 15:33:21) 
[GCC 4.9.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import mysql.connector
>>> from mysql.connector import fabric
>>> conn = mysql.connector.connect(fabric={"host":"localhost", "port":32274, "username":"lyw", "password":"123456"}, user="fabric", password="123456", autocommit=True)
>>> conn.set_property(group=‘group-g‘, scope=fabric.SCOPE_GLOBAL, mode=fabric.MODE_READWRITE)
>>> cur = conn.cursor()
>>> cur.execute(‘create database lyw‘)
>>> cur.execute(‘use lyw;‘)
>>> cur.execute(‘create table table1 (id int, v varchar(32))‘)

这时，我们去8个数据库直接查看，会发现所有数据库都创建了数据库lyw和表table1；因为我们使用了scope=fabric.SCOPE_GLOBAL 参数，所以这个操作在10091这个库执行后，会同步到其他所有数据库中去，记得其他数据库的数据是有延迟的。

然后我们进行分片插入数据，fabric的分片操作有点麻烦，用两个函数辅助一下比较方便，下面代码可以粘贴到交互界面中去。

import random

def ins(conn, table, key):
     conn.set_property(tables=[‘lyw.%s‘ % table], key=key, scope=fabric.SCOPE_LOCAL, mode=fabric.MODE_READWRITE)
     cur=conn.cursor()
     #cur.execute(‘use lyw;‘)
     cur.execute("insert into lyw.%s values(%s, ‘aaa‘)" % (table, key) )

def rand_ins(conn, table, count):
    for i in range(count):
        key = random.randint(0, 30000)
        ins(conn, table, key)

然后我们在交互界面执行rand_ins函数随机插入若干条数据

>>> conn = mysql.connector.connect(fabric={"host":"localhost", "port":32274, "username":"lyw", "password":"123456"}, user="fabric", password="123456", autocommit=True)
>>> rand_ins(conn, ‘table1‘, 100)

这样就向数据库随机插入了100条数据，我们可以用mysql客户端直接链接后面的6个库查看，一半情况每个库都有数据库，第一组数据都是小于10000的数据，第二组都是10000-20000的数据，第三组都是20000以上的数据，并且行数总和为100，就是我们插入的总条数。

注意：使用分片时，如果key换了，就需要重新获得游标和数据库，即ins函数的前3行，使用数据库也可以直接将表名写在sql语句中。否则插入数据会不符合预期。

除了RANGE分片外，fabric还提供了其他的方式，有HASH，RANGE_DATETIME, RANGE_STRING

我们下面讲一下HASH分片。HASH分片的命令如下

$ mysqlfabric sharding create_definition HASH group-g
Fabric UUID:  5ca1ab1e-a007-feed-f00d-cab3fe13249e
Time-To-Live: 1

                                uuid finished success result
------------------------------------ -------- ------- ------
9ba5c378-9f99-43bc-8f54-7580cff565f6        1       1      2
$ mysqlfabric sharding add_table 2 lyw.table2 id
$ mysqlfabric sharding add_shard 2 "group-1, group-2, group-3" --state=ENABLED

配置已完成，只要3行命令，hash方式的分组后面不用加数字，分组有系统自行计算获得。

我们还是测试一下

>>> conn = mysql.connector.connect(fabric={"host":"localhost", "port":32274, "username":"lyw", "password":"123456"}, user="fabric", password="123456", autocommit=True)
>>> conn.set_property(group=‘group-g‘, scope=fabric.SCOPE_GLOBAL, mode=fabric.MODE_READWRITE)
>>> cur = conn.cursor()
>>> cur.execute(‘use lyw;‘)
>>> cur.execute(‘create table table2 (id int, v varchar(32))‘)
>>> conn = mysql.connector.connect(fabric={"host":"localhost", "port":32274, "username":"lyw", "password":"123456"}, user="fabric", password="123456", autocommit=True)
>>> rand_ins(conn, ‘table2‘, 100)

同样可以发现每个库中都有了数据，只是没有太好的规律，并且可能还会发现每个数据库的数据行数相差比较远，这个看运气，可能相差10倍之大，因此我觉得目前fabric的Hash方法不够好，分布太不均匀，HASH方式不建议使用。

以上是Fabric的基本功能使用，一点点去深究后会发现Fabric也存在这样那样的缺陷，很可能不适合您的业务场景，我过几天再写一篇关于Cobar的使用，使用时看您的选择了。

本文出自 “棒棒吧” 博客，请务必保留此出处http://bangbangba.blog.51cto.com/3180873/1703972

MySQL集群之Fabric部署使用

标签：mysql   fabric   集群部署   主从   分片   

原文地址：http://bangbangba.blog.51cto.com/3180873/1703972