码迷，mamicode.com
首页 > 数据库 > 详细

MySQL 高可用：mysql+mycat实现数据库分片（分库分表）

时间：2017-09-30 16:29:02      阅读：371      评论：0      收藏：0      [点我收藏+]

标签：平台   detail   class   底部   技术   数据存储   create   pad   _id   

 

MySQL 高可用：mysql+mycat实现数据库分片（分库分表）

http://blog.csdn.net/kk185800961/article/details/51147029

什么是MYCAT：

一个彻底开源的，面向企业应用开发的大数据库集群

支持事务、ACID、可以替代MySQL的加强版数据库

一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群

一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品

 

 Mycat关键特性 ：

支持SQL92标准

遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。

基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。

支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster

基于Nio实现，有效管理线程，高并发问题。

支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。

支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。

支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。

支持多租户方案。

支持分布式事务（弱xa）。

支持全局序列号，解决分布式下的主键生成问题。

分片规则丰富，插件化开发，易于扩展。

强大的web，命令行监控。

支持前端作为mysq通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。

支持密码加密

支持服务降级

支持IP白名单

支持SQL黑名单、sql注入攻击拦截

支持分表（1.6）

集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。

 

（官方说明参考：Mycat 数据库分库分表中间件 ）

 

JDK 下载（建议要求jdk7及以上）：

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

Linux x86 147.68 MB jdk-7u80-linux-i586.tar.gz


MyCAT 相关：

Mycat 捐赠地址：http://www.mycat.io/donate.html

Mycat 官斱网站：http://www.mycat.io/

Mycat 源码：https://github.com/MyCATApache/Mycat-Server

Mycat 下载地址：https://github.com/MyCATApache/Mycat-download


 

既然 mycat  那么强大，那就测试看看：

技术分享

 

#测试环境：

# 有3张表 users,item,item_detail (item 的子表) 和 3 个数据库 db01,db02,db03

# 表 users 存储在数据库 db01, 表 item 和 item_detail 分布存储在数据 db01 和 db02 

# 现在在3个数据库都创建相同的表

[sql] view plain copy
 
  1. create database db01;  
  2. create database db02;  
  3. create database db03;  
  4.   
  5. CREATE TABLE users (  
  6.     id INT NOT NULL AUTO_INCREMENT,  
  7.     name varchar(50) NOT NULL default ‘‘,  
  8.     indate DATETIME NOT NULL default ‘0000-00-00 00:00:00‘,  
  9.     PRIMARY KEY (id)  
  10. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  
  11.   
  12. CREATE TABLE item (  
  13.     id INT NOT NULL AUTO_INCREMENT,  
  14.     value INT NOT NULL default 0,  
  15.     indate DATETIME NOT NULL default ‘0000-00-00 00:00:00‘,  
  16.     PRIMARY KEY (id)  
  17. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  
  18.   
  19. CREATE TABLE item_detail (  
  20.     id INT NOT NULL AUTO_INCREMENT,  
  21.     value INT NOT NULL default 0,  
  22.     name varchar(50) NOT NULL default ‘‘,  
  23.     item_id INT NOT NULL,  
  24.     PRIMARY KEY (id),  
  25.     key (item_id)  
  26. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;  



# JDK 安装配置

 

[plain] view plain copy
 
  1. cd /usr/local/src  
  2. tar xvf jdk-7u80-linux-i586.tar.gz  
  3. mkdir -p /usr/local/java  
  4. mv /usr/local/src/jdk1.7.0_80 /usr/local/java/  
  5. chown -R root:root /usr/local/java  
  6. cd /usr/local/java/  


#配置环境变量

 

 

[plain] view plain copy
 
  1. vi /etc/profile   
  2. vi ~/.bash_profile  
  3.   
  4. export JAVA_HOME=/usr/local/java/jdk1.7.0_80  
  5. export PATH=$PATH:$JAVA_HOME/bin  
  6. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  


#设置生效（最好重启系统）

 

 

[plain] view plain copy
 
  1. source /etc/profile  
  2. source ~/.bash_profile  


#测试是否安装成功

 

 

[plain] view plain copy
 
  1. [root@server1 ~]# java -version  
  2. java version "1.7.0_80"  
  3. Java(TM) SE Runtime Environment (build 1.7.0_80-b15)  
  4. Java HotSpot(TM) Client VM (build 24.80-b11, mixed mode)  



 

# Mycat 安装配置

 

[plain] view plain copy
 
  1. cd /usr/local/src  
  2. tar xvf Mycat-server-1.5.1-RELEASE-20160405120037-linux.tar.gz   
  3. mv /usr/local/src/mycat /usr/local/  
  4.   
  5. groupadd mycat  
  6. useradd -g mycat mycat  
  7. passwd mycat  
  8. chown -R mycat.mycat /usr/local/mycat  


#添加环境变量

 

 

[plain] view plain copy
 
  1. vi /etc/profile  
  2. vi ~/.bash_profile  
  3.   
  4. export MYCAT_HOME=/usr/local/mycat  


#设置生效（最好重启系统）

 

 

[plain] view plain copy
 
  1. source /etc/profile  
  2. source ~/.bash_profile  


#服务器名和IP绑定

 

 

[plain] view plain copy
 
  1. vi /etc/hosts  
  2. 192.168.100.50  server1  
  3. 127.0.0.1       server1  


# 设置 wrapper.java.command 的java 路径

 

 ( 同时可设置 -Xmx 和 -Xms ，参考： mycat 启动失败 The specified size exceeds the maximum representable size)

 

[plain] view plain copy
 
  1. vi /usr/local/mycat/conf/wrapper.conf  
  2.   
  3. wrapper.java.command=%JAVA_HOME%/bin/java  


#配置 server.xml 和 schema.xml  (本案例配置信息在文章底部)

 

 

[plain] view plain copy
 
  1. vi /usr/local/mycat/conf/server.xml  
  2. vi /usr/local/mycat/conf/schema.xml  


#启动mycat服务 ./mycat { console | start | stop | restart | status | dump }

 

 

[plain] view plain copy
 
  1. /usr/local/mycat/bin/mycat console  

 

[plain] view plain copy
 
  1. #mycat 进程  
  2. ps -ef | grep mycat  
  3.   
  4. #日子信息  
  5. tail -20 /usr/local/mycat/logs/wrapper.log  



 

测试：

#访问 mycat   (凭据参考 /usr/local/mycat/conf/server.xml)

[plain] view plain copy
 
  1. mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB  

 

[sql] view plain copy
 
  1. mysql> show databases;  
  2. +----------+  
  3. | DATABASE |  
  4. +----------+  
  5. | TESTDB   |   
  6. +----------+  
  7.   
  8. mysql> show tables;  
  9. +------------------+  
  10. | Tables in TESTDB |  
  11. +------------------+  
  12. | item             |   
  13. | item_detail      |   
  14. | users            |   
  15. +------------------+  


#在 mycat 中插入数据并查询：

 

 

[sql] view plain copy
 
  1. insert into users(name,indate) values(‘kk‘,now());  
  2. insert into item(id,value,indate) values(1,100,now());  
  3. insert into item_detail(value,name,item_id) values(‘pad‘,40,1);  
  4. insert into item_detail(value,name,item_id) values(‘phone‘,50,1);  
  5.   
  6. insert into item(id,value,indate) values(999,100,now());  
  7. insert into item_detail(value,name,item_id) values(‘pad‘,40,999);  
  8. insert into item_detail(value,name,item_id) values(‘phone‘,50,999);  
[sql] view plain copy
 
  1. mysql> select * from users;  
  2. +----+------+---------------------+  
  3. | id | name | indate              |  
  4. +----+------+---------------------+  
  5. |  1 | kk   | 2016-04-13 06:28:00 |   
  6. +----+------+---------------------+  
  7.   
  8. mysql> select * from item;  
  9. +-----+-------+---------------------+  
  10. | id  | value | indate              |  
  11. +-----+-------+---------------------+  
  12. | 999 |   100 | 2016-04-13 06:34:12 |   
  13. |   1 |   100 | 2016-04-13 06:32:58 |   
  14. +-----+-------+---------------------+  
  15.   
  16. mysql> select * from item_detail;  
  17. +----+-------+------+---------+  
  18. | id | value | name | item_id |  
  19. +----+-------+------+---------+  
  20. |  1 |     0 | 40   |     999 |   
  21. |  2 |     0 | 50   |     999 |   
  22. |  1 |     0 | 40   |       1 |   
  23. |  2 |     0 | 50   |       1 |   
  24. +----+-------+------+---------+  



#打开另一个终端，使用mysql账号登陆访问查看表情况

 

 

[plain] view plain copy
 
  1. mysql -uroot -ptest -p  


#具体的表数据存储情况：

 

 

[sql] view plain copy
 
  1. -----------------------------------------  
  2. mysql> select * from db01.users;  
  3. +----+------+---------------------+  
  4. | id | name | indate              |  
  5. +----+------+---------------------+  
  6. |  1 | kk   | 2016-04-13 06:28:00 |   
  7. +----+------+---------------------+  
  8.   
  9. mysql> select * from db02.users;  
  10.   
  11. mysql> select * from db03.users;  
  12.   
  13. -----------------------------------------  
  14.   
  15. mysql> select * from db01.item;  
  16.   
  17. mysql> select * from db02.item;  
  18. +-----+-------+---------------------+  
  19. | id  | value | indate              |  
  20. +-----+-------+---------------------+  
  21. | 999 |   100 | 2016-04-13 06:34:12 |   
  22. +-----+-------+---------------------+  
  23.   
  24. mysql> select * from db03.item;  
  25. +----+-------+---------------------+  
  26. | id | value | indate              |  
  27. +----+-------+---------------------+  
  28. |  1 |   100 | 2016-04-13 06:32:58 |   
  29. +----+-------+---------------------+  
  30.   
  31. -----------------------------------------  
  32.   
  33. mysql> select * from db01.item_detail;  
  34.   
  35. mysql> select * from db02.item_detail;  
  36. +----+-------+------+---------+  
  37. | id | value | name | item_id |  
  38. +----+-------+------+---------+  
  39. |  1 |     0 | 40   |     999 |   
  40. |  2 |     0 | 50   |     999 |   
  41. +----+-------+------+---------+  
  42.   
  43. mysql> select * from db03.item_detail;  
  44. +----+-------+------+---------+  
  45. | id | value | name | item_id |  
  46. +----+-------+------+---------+  
  47. |  1 |     0 | 40   |       1 |   
  48. |  2 |     0 | 50   |       1 |   
  49. +----+-------+------+---------+  

 

 

测试完成！！~数据进行了分库分表！
------------------------------------------------------------------------------------

------------------------------------------------------------------------------------

# server.xml 和 schema.xml 配置情况

 

[plain] view plain copy
 
  1. # vi /usr/local/mycat/conf/server.xml  
  2.   
  3. <?xml version="1.0" encoding="UTF-8"?>  
  4. <!DOCTYPE mycat:server SYSTEM "server.dtd">  
  5. <mycat:server xmlns:mycat="http://org.opencloudb/">  
  6.         <system>  
  7.             <!--   
  8.                 <property name="processors">32</property>  
  9.                 <property name="processorExecutor">32</property>   
  10.                 <property name="bindIp">0.0.0.0</property>   
  11.                 <property name="frontWriteQueueSize">4096</property>  
  12.                 <property name="idleTimeout">300000</property>  
  13.                 <property name="mutiNodePatchSize">100</property>  
  14.             -->  
  15.                 <property name="defaultSqlParser">druidparser</property>  
  16.                 <property name="mutiNodeLimitType">1</property>  
  17.                 <property name="serverPort">8066</property>  
  18.                 <property name="managerPort">9066</property>   
  19.         </system>  
  20.         <!-- 任意设置登陆 mycat 的用户名,密码,数据库  -->  
  21.         <user name="test">  
  22.                 <property name="password">test</property>  
  23.                 <property name="schemas">TESTDB</property>  
  24.         </user>  
  25.   
  26.         <user name="user">  
  27.                 <property name="password">user</property>  
  28.                 <property name="schemas">TESTDB</property>  
  29.                 <property name="readOnly">true</property>  
  30.         </user>  
  31.         <!--   
  32.         <quarantine>   
  33.            <whitehost>  
  34.               <host host="127.0.0.1" user="mycat"/>  
  35.               <host host="127.0.0.2" user="mycat"/>  
  36.            </whitehost>  
  37.        <blacklist check="false"></blacklist>  
  38.         </quarantine>  
  39.         -->  
  40. </mycat:server>  

 

[plain] view plain copy
 
  1. # vi /usr/local/mycat/conf/schema.xml  
  2.   
  3. <?xml version="1.0"?>  
  4. <!DOCTYPE mycat:schema SYSTEM "schema.dtd">  
  5. <mycat:schema xmlns:mycat="http://org.opencloudb/">  
  6.   
  7.     <!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致  -->  
  8.     <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">  
  9.         <table name="users" primaryKey="id" type="global" dataNode="node_db01" />  
  10.   
  11.         <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">  
  12.                 <childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />  
  13.         </table>  
  14.     </schema>  
  15.   
  16.     <!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost -->  
  17.     <dataNode name="node_db01" dataHost="dataHost01" database="db01" />  
  18.     <dataNode name="node_db02" dataHost="dataHost01" database="db02" />  
  19.     <dataNode name="node_db03" dataHost="dataHost01" database="db03" />  
  20.   
  21.     <!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 -->  
  22.     <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">  
  23.             <heartbeat>select user()</heartbeat>  
  24.             <writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>  
  25.     </dataHost>  
  26. </mycat:schema>  



 

其他参考：

http://www.csdn.net/article/2015-07-16/2825228 （原理及应用）

http://www.songwie.com/articlelist/50（理论和实践 写的好）

http://ly.blog.itpub.net/29733787/viewspace-2049139/（示例）  MyCAT安装使用及简单测试 

http://www.cnblogs.com/ivictor/p/5111495.html（示例）  MyCAT简易入门

http://www.2cto.com/database/201503/385641.html（示例） Mycat水平分表，垂直分表实践（2）

http://www.51testing.com/html/34/369434-3686088.html（示例）使用Mycat 做简单的读写分离(一)

MySQL 高可用：mysql+mycat实现数据库分片（分库分表）

标签：平台   detail   class   底部   技术   数据存储   create   pad   _id   

原文地址：http://www.cnblogs.com/6relation/p/7615186.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！