2.2 XA 事务原理

 

 

一般的编程方式是这样的：

? 配置 TM，通过 TM 或者 RM 提供的方式，把 RM 注册到 TM。可以理解为给 TM 注册 RM 作为数据源。一个 TM 可以注册多个 RM。

? AP 从 TM 获取资源管理器的代理（例如：使用 JTA 接口，从 TM 管理的上下文中，获取出这个 TM 所管理的 RM 的 JDBC 连接或 JMS 连接）

? AP 向 TM 发起一个全局事务。这时，TM 会通知各个 RM。XID（全局事务 ID）会通知到各个 RM。

? AP 通过 1 中获取的连接，直接操作 RM 进行业务操作。这时，AP 在每次操作时把 XID(包括所属分支的信息)传递给 RM，RM 正是通过这个 XID 与 2 步中的 XID 关联来知道操作和事务的关系的。

? AP 结束全局事务。此时 TM 会通知 RM 全局事务结束。

? 开始二段提交，也就是 prepare - commit 的过程。

? XA 协议(XA Specification)，指的是 TM 和 RM 之间的接口，其实这个协议只是定义了 xa_和 ax_系列的函数原型以及功能描述、约束和实施规范等。至于 RM 和 TM 之间通过什么协议通信，则没有提及，目前知名的数据库，如 Oracle, DB2 等，都是实现了 XA 接口的，都可以作为 RM。Tuxedo、TXseries 等事务中间件可以通过 XA 协议跟这些数据源进行对接。JTA(Java Transaction API)是符合 X/Open DTP 的一个编程模型，事务管理和资源管理器支架也是用了 XA 协议。

 2.3、二阶段提交

所谓的两个阶段是指准备 prepare 阶段和提交 commit 阶段。

第一阶段分为两个步骤：

1、事务管理器通知参与该事务的各个资源管理器，通知他们开始准备事务。

2、资源管理器接收到消息后开始准备阶段，写好事务日志（redo undo）并执行事务，但不提交，然后将是否就绪的消息返回给事务管理器（此时已经将事务的大部分事情做完，以后的操作耗时极小）。

第二阶段也分为两个步骤：

1、事务管理器在接受各个消息后，开始分析，如果有任意数据库失败，则发送回滚命令，否则发送提交命令。

2、各个资源管理器接收到命令后，执行（耗时很少），并将提交消息返回给事务管理器。

事务管理器接受消息后，事务结束，应用程序继续执行。

至于为什么要分两步执行，一是因为分两步，就有了事务管理器统一管理的机会；二尽可能晚地提交事务，让事务在提交前尽可能地完成所有能完成的工作，这样，最后的提交阶段将是耗时极短，耗时极短意味着操作失败的可能性也就降低。

 2.4、 XA 规范

在 XA 的分布式事务处理模型里面涉及到三个角色 AP（应用程序）、RM（数据库）、TM（事务管理器）。AP 定义事务的开始和结束，访问事务内的资源。RM 除了数据库之外，还可以是其他的系统资源，比如文件系统，打印机服务器。 TM 负责管理全局事务，分配事务唯一标识，监控事务的执行进度，并负责事务的提交、回滚、失败恢复等，是一个协调者的角色，可能是程序或者中间件。XA 协议主要规定了了 TM 与 RM 之间的交互。注意：通过实现 XA 的接口，只是提供了对 XA 分布式事务的支持，并不是说数据库本身有分布式事务的能力。

2.5、MySQL 对 XA 的支持

  XA 是一种两阶段提交的实现。数据库本身必须要提供被协调的接口，比如事务开启，准备，事务结束，事务提交，事务回滚。https://dev.mysql.com/doc/refman/5.7/en/xa.html

 MySQL 单节点运行 XA 事务演示：

use ljxmycat;
--开启 XA 事务 xa start ‘xid‘;
--插入数据

INSERT INTO `delivery_mod` (id,name) VALUES (22222, ‘张三‘);

 5结束一个 XA 事务

 xa end ‘xid‘; 
6准备提交 
xa prepare‘xid‘;
--列出所有处于 PREPARE 阶段的 XA 事务 
xa recover;

2.6、XA 事务的问题和 MySQL 的局限

2.7、XA 事务使用指南

XA 操作说明

1. set autocommit=0;

XA 事务 需要设置手动提交

2. set xa=on;

使用该命令开启 XA 事务

3. insert into travelrecord(id,name)

values(1,‘N‘),(6000000,‘A‘),(321,‘D‘),(13400000,‘C‘),(59,‘E‘);

执行相应的 SQL 语句部分

4.commit;

对事务进行提交，事务结束

2.8、保证 repeatable read

mycat 有一个特性，就是开事务之后，如果不运行 update/delete/select for update 等更新类语句 SQL 的话，不会将当前连接与当前 session 绑定。如下图所示:

这样做的好处是可以保证连接可以最大限度的复用，提升性能。但是,这就会导致两次 select 中如果有其它的在提交的话，会出现两次同样的 select 不一致的现象,即不能 repeatable read，这会让人直连 mysql 的人很困惑,可能会在依赖

repeatable read 的场景出现问题。所以做了一个开关,当 server.xml 的system 配置了strictTxIsolation=true 的时候(true)，会关掉这个特性，以保证 repeatable read,加了开关后如下图所示:

 

2.9、Mycat SQL 拦截机制

SQL 拦截是一个比较有用的高级技巧，用户可以写一个 java 类，将传入 MyCAT 的 SQL 进行改写然后交给Mycat 去执行，此技巧可以完成如下一些特殊功能：

? 捕获和记录某些特殊的 SQL；

? 记录 sql 查找异常；

? 出于性能优化的考虑，改写 SQL，比如改变查询条件的顺序或增加分页限制；

? 将某些 Select SQL 强制设置为 Read 模式，走读写分离（很多事务框架很难剥离事务中的 Select SQL；

? 后期 Mycat 智能优化，拦截所有 sql 做智能分析，自动监控节点负载，自动优化路由，提供数据库优化建议

SQL 拦截的原理是在路由之前拦截 SQL，然后做其他处理，完了之后再做路由，执行,如下图所示：

默认的拦截器实现了 Mysql 转义字符的过滤转换，非默认拦截器只有一个拦截记录 sql 的拦截器。

a. 默认 SQL 拦截器：

配置：
<system>
<property name="sqlInterceptor">io.mycat.interceptor.impl.DefaultSqlInterceptor</property>
</system>
源码：
/**
* escape mysql escape letter
*/
@Override
public String interceptSQL(String sql, int sqlType) {
if (sqlType == ServerParse.UPDATE || sqlType == ServerParse.INSERT||sqlType == 
ServerParse.SELECT||sqlType == ServerParse.DELETE) {
return sql.replace("\\‘", "‘‘");
} else {
return sql;
} }

b. 捕获记录 sql 拦截器配置：

<system>
<property name="sqlInterceptor">io.mycat.interceptor.impl.StatisticsSqlInterceptor</property>
<property name="sqlInterceptorType">select，update，insert，delete</property>
<property name="sqlInterceptorFile">E:/mycat/sql.txt</property>
</system>

sqlInterceptorType ： 拦截 sql 类型

sqlInterceptorFile ： sql 保存文件路径

注意：捕获记录 sql 拦截器的配置只有 1.4 及其以后可用，1.3 无本拦截。

如果需要实现自己的 sql 拦截，只需要将配置类改为自己配置即可：

1.定义自定义类 implements SQLInterceptor ，然后改写 sql 后返回。
2.将自己实现的类放入 catlet 目录，可以为 class 或 jar。
3.配置配置文件：
<system>
<property name="sqlInterceptor">io.mycat.interceptor.impl.自定义 class</property>
<!--其他配置-->
</system>

三、核心流程总结

官网的架构图：

 

启动

1、MycatServer 启动，解析配置文件，包括服务器、分片规则等

2、创建工作线程，建立前端连接和后端连接

执行 SQL

1、前端连接接收 MySQL 命令

2、解析 MySQL，Mycat 用的是 Druid 的 DruidParser

3、获取路由

4、改写 MySQL，例如两个条件在两个节点上，则变成两条单独的 SQL

    例如 select * from text where id in(5000001, 10000001);

改写成：

    select * from text where id = 5000001；（dn2 执行）

    select * from text where id = 10000001；（dn3 执行）

又比如多表关联查询，先到各个分片上去获取结果，然后在内存中计算

5、与后端数据库建立连接

6、发送 SQL 语句到 MySQL 执行

7、获取返回结果

8、处理返回结果，例如排序、计算等等

9、返回给客户端

四、Mycat 高可用

目前 Mycat 没有实现对多 Mycat 集群的支持。集群之前最麻烦的是数据同步和选举。可以暂时使用 HAProxy+Keepalived 实现。