def numpy_split_pd(df, split_num): # 使用numpy拆分DataFrame 把索引均分 均分后再用索引拆分DataFrame lst_index = list(map(lambda a: a.tolist(), numpy.array_split(df.index ...
分类：
其他好文 时间：
2021-05-24 01:08:44
阅读次数：
0
第一章 入门概述 1.1 是什么 Mycat 是数据库中间件。 1、数据库中间件 中间件：是一类连接软件组件和应用的计算机软件，以便于软件各部件之间的沟通。例子：Tomcat，web中间件。 数据库中间件：连接java应用程序和数据库 2、为什么要用Mycat？ ① Java与数据库紧耦合。 ② 高 ...
分类：
数据库 时间：
2020-09-17 12:14:13
阅读次数：
59
https://blog.csdn.net/bernkafly/article/details/89553711 redis概述 传统的数据访问： 缓存 + MySql 垂直拆分： 主从复制，读写分离： 分表分库+水平拆分+MySql 集群： 到了现在的数据访问流程： 3V + 3高： UDSL 这 ...
经过读写分离的优化后，小王可算是轻松了一段时间，读写分离具体的方案请查看这篇文章：Sharding-JDBC:查询量大如何优化？可是好景不长，业务发展是在太快了。数据库中的数据量猛增，由于所有表都在一个数据库中，导致服务器本地存储快满了。从上图我们可以看的出来，由于表的数量较多，每个表的数据量也较大，但是还没到水平拆分的地步。目前遇到的问题是服务器的存储不够了，短期内还不用水平拆分，那么方案呼之欲
分类：
数据库 时间：
2020-08-02 10:09:00
阅读次数：
81
一 前言 中大型项目中，一旦遇到数据量比较大，小伙伴应该都知道就应该对数据进行拆分了。有垂直和水平两种。 垂直拆分 比较简单，也就是本来一个数据库，数据量大之后，从业务角度进行拆分多个库。如下图，独立的拆分出订单库和用户库。 水平拆分 是同一个业务数据量大之后，进行水平拆分 上图中订单数据达到了40 ...
分类：
其他好文 时间：
2020-07-14 00:18:56
阅读次数：
65
分布式ID常见生成策略： 分布式ID生成策略常见的有如下几种： 数据库自增ID。 UUID生成。 Redis的原子自增方式。 数据库水平拆分，设置初始值和相同的自增步长。 批量申请自增ID。 雪花算法。 百度UidGenerator算法(基于雪花算法实现自定义时间戳)。 美团Leaf算法(依赖于数据 ...
分类：
编程语言 时间：
2020-07-13 21:31:10
阅读次数：
103
在微服务架构中，随着服务的逐步拆分，数据库私有已经成为共识，这也导致所面临的分布式事务问题成为微服务落地过程中一个非常难以逾越的障碍，但是目前尚没有一个完整通用的解决方案。 其实不仅仅是在微服务架构中，随着用户访问量的逐渐上涨，数据库甚至是服务的分片、分区、水平拆分、垂直拆分已经逐渐成为较为常用的提 ...
分类：
其他好文 时间：
2020-06-25 15:24:03
阅读次数：
54
基本概念 在了解Sharding-JDBC的执行原理前，需要了解以下概念： 逻辑表 水平拆分的数据表的总称。例：订单数据表根据主键尾数拆分为10张表，分别是 t_order_0 、 t_order_1 到 t_order_9 ，他们的逻辑表名为 t_order 。 真实表 在分片的数据库中真实存在的 ...
分类：
数据库 时间：
2020-06-21 00:55:20
阅读次数：
140
1.什么是分库分表 一个库一个表 拆分为 N个库N个表 分为垂直拆分，水平拆分 2.为什么要分库分表 随着业务发展，表的数量，以及单表数据量越来越大，而由于无法分布式部署(部分数据库支持)，单台服务器资源(cpu 内存,IO)的限制，导致数据操作开销大，查询慢，因此需要进行分库分表，提高数据查询速度 ...
分类：
其他好文 时间：
2020-06-03 00:51:42
阅读次数：
79
谈到性能优化分析一般会涉及到： Java代码层面的，典型的循环嵌套等 还会涉及到Java JVM：内存泄漏溢出等 MySQL数据库优化：分库分表、慢查询、长事务的优化等 阿里P8架构师谈：MySQL慢查询优化、索引优化、以及表等优化总结 阿里P8架构师谈：架构设计之数据库垂直、水平拆分六大原则（数据 ...
分类：
其他好文 时间：
2020-05-07 13:38:17
阅读次数：
117
