概述 分区表 1,分区表(水平分表) 传统分表:将一个大表在逻辑上拆分成多个小表;它们在业务上可能会保持整体;但是在逻辑上实际已经不是同一个表了 这种分表增加程序的复杂度,如要针对不同的表生成不同的sql语句;增加程序出错的可能性;增加了开发工作量 分区表:将大表分成若干个小表,它们逻辑上还是一张表 ...
分类:
其他好文 时间:
2020-10-05 21:52:48
阅读次数:
35
在对诸如订单、交易、支付等实时在线业务系统的研发、维护过程中,随着业务量的快速增长,我们经常会遇到由于关系型数据库(如:MySql)单表数据量增长过大而引发的线上事故;虽然这些事故多数时候是由于不合理的慢SQL而引起的系统雪崩,但有时也会出现由于数据库热点块IO争用而引发的系统性性能下降。总之,单表数据量的无限增长总是会在这样或那样的情况下增加系统的不稳定性因素。
分类:
数据库 时间:
2020-09-23 23:29:00
阅读次数:
49
1. 初识shardingJdbc 2. sharding-jdbc四种配置方式 3. YAML配置方式及mysql环境准备 4. sharding-jdbc分库分表实例测试 5. 轻量的sharding-jdbc在我目前工作项目的集成方案 1. 初识shardingJdbc 定位为轻量级Java框 ...
分类:
数据库 时间:
2020-09-18 12:28:44
阅读次数:
57
分库分表中间件的高可用实践 前言 分库分表中间件在我们一年多的锤炼下,基本解决了可用性和高性能的问题(只能说基本,肯定还有隐藏的坑要填),问题自然而然的就聚焦于高可用。本文就阐述了我们在这方面做出的一些工作。 哪些高可用的问题 作为一个无状态的中间件,高可用问题并没有那么困难。但是尽量减少不可用期间 ...
分类:
其他好文 时间:
2020-09-18 02:57:04
阅读次数:
30
概述平常在请求服务的时候,负载均衡一般会用到随机访问,但是随机访问的缺点是负载不均衡,有的服务请求的次数多,有的少;轮询,请求分配均衡,但是如果性能好的机器,想多分配些不行,导致资源白白浪费;权重轮询,权重静态配置,不灵活。hash取模策略,如果某台机器宕机,就会导致返回服务失败。分库分表的时候采取hash取模,如果是增加机器或者是减少机器,数据迁移就会全局迁移,因为机器数据增加或者减少,导致取模
分类:
编程语言 时间:
2020-09-18 00:48:54
阅读次数:
48
环境说明: 某客户有一套环境,源端数据库的版本为:12.1.0.2(Non-CDB),目标端为:12.2.0.1(CDB), 在每个月的月初,会在目标端主机上会执行一个脚本(该脚本的内容其实就是impdp + network_link)将源端数据库中的一部分表导入到目标数据库中。 该脚本一直运行良好 ...
分类:
Web程序 时间:
2020-09-16 12:06:57
阅读次数:
54
系统开发中,数据库是非常重要的一个点。除了程序的本身的优化,如:SQL语句优化、代码优化,数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件,已经在很多产品上进行使用了。下面就针对Mycat的基础知识和应用做一总结性 ...
分类:
数据库 时间:
2020-09-16 12:03:42
阅读次数:
54
Pandas数据处理——一文详解数据拼接方法merge点击上方“Python读数”,选择“星标”公众号重磅干货,第一时间送达为了方便维护,一般公司的数据在数据库内都是分表存储的,比如用一个表存储所有用户的基本信息,一个表存储用户的消费情况。所以,在日常的数据处理中,经常需要将两张表拼接起来使用,这样的操作对应到SQL中是join,在Pandas中则是用merge来实现。这篇文章就讲一下merge的
分类:
其他好文 时间:
2020-09-11 15:51:12
阅读次数:
45
在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中,数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息,数据库的自增ID显然不能满足需求;特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够生成全 ...
分类:
编程语言 时间:
2020-09-04 17:22:10
阅读次数:
59
leetCode 第42题,单调栈典型//给定 n 个非负整数表示每个宽度为 1 的柱子的高度图,计算按此排列的柱子,下雨之后能接多少雨水。 //// //// 上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表示的高度图,在这种情况下,可以接 6 个单位的雨水(蓝色部分表示雨水) ...
分类:
其他好文 时间:
2020-08-31 13:26:51
阅读次数:
54