【1】mycat的前世今生： 如果我有一个32核心的服务器，我就可以实现1个亿的数据分片，我有32核心的服务器么？没有，所以我至今无法实现1个亿的数据分片。——Mycat’s Plan 1.0 如果我们有10台物理机，我们就可以实现1000亿的数据分片，我们有10台物理机么？没有，所以，Mycat至 ...
分类：
其他好文 时间：
2019-08-29 15:34:44
阅读次数：
104
Spark Streaming + Kafka集成指南 Kafka项目在版本0.8和0.10之间引入了一个新的消费者API，因此有两个独立的相应Spark Streaming包可用。请选择正确的包， 请注意，0.8集成与后来的0.9和0.10代理兼容，但0.10集成与早期的代理不兼容。 注意：从Sp ...
分类：
其他好文 时间：
2019-08-26 13:02:03
阅读次数：
114
分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题，才能支撑更多次亿级用户的涌入。 接下来，你将花费十分钟掌握以下三方面内容：1、MySQL复制：包括主从复制和主主复制；2、数据分片：数据分片的原理、分片的方案、分片数据库的扩容； ...
分类：
其他好文 时间：
2019-06-12 19:30:44
阅读次数：
95
关闭防火墙和selinux，配置yum源配置21 、22 数据库（这里以21为例）[root@host21 ~]# tar -xf mysql-5.7.17.tar[root@host21 ~]# yum -y install mysql-community-*.rpm[root@host21 ~] ...
分类：
其他好文 时间：
2019-06-09 09:31:06
阅读次数：
84
Sharding-Jdbc介绍 Sharding-Jdbc在3.0后改名为Shardingsphere它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如J ...
分类：
数据库 时间：
2019-06-05 00:35:51
阅读次数：
134
RedisCluster部署文档updated:09/05/20191说明RedisCluster的主要特点如下：无中心结构，客户端与redis节点直连，不需要中间代理层节点冗余设计，slave->master选举，集群容错数据分片存储，且支持在线分片ASK/MOVED转向机制，可通过任意节点，读写不属于本节点的数据本文以部署一个可实现高可用的最小集群为例，集群部署在三台主机上，包含M1、M
分类：
其他好文 时间：
2019-05-23 19:33:39
阅读次数：
144
由于Redis出众的性能，其在众多的移动互联网企业中得到广泛的应用。Redis在3.0版本前只支持单实例模式，虽然现在的服务器内存可以到100GB、200GB的规模，但是单实例模式限制了Redis没法满足业务的需求（例如新浪微博就曾经用Redis存储了超过1TB的数据）。Redis的开发者Antirez早在博客上就提出在Redis 3.0版本中加入集群的功能，但3.0版本等到2015年才发布正式版。各大企业在3.0版本还没发布前为了解决Redis的存储瓶颈，纷纷推出了各自的Redis集群方案。这些方案的核心思想是把数据分片（sharding）存储在多个Redis实例中，每一片就是一个Redis实例。
分类：
其他好文 时间：
2019-05-16 09:40:01
阅读次数：
160
为什么要用redis-cluster 1.并发问题 2.数据量太大 一台服务器内存正常是16~256G，假如你的业务需要500G内存， 新浪微博作为世界上最大的redis存储，就超过1TB的数据，去哪买这么大的内存条？各大公司有自己的解决方案，推出各自的集群功能，核心思想都是将数据分片（shard ...
分类：
其他好文 时间：
2019-03-10 09:38:55
阅读次数：
170
数据分片产生的背景,可以查看https://shardingsphere.apache.org/document/current/cn/features/sharding/,包括了垂直拆分和水平拆分的概念.还有这个框架的目标是什么,都写得很清楚Sharding-JDBC与MyCat:解决分库分表的中间件.但是定位不同,Sharding-JDBC定位是轻量级Java框架,以jar包的方式提供服务,未
分类：
数据库 时间：
2019-03-08 23:47:48
阅读次数：
415
一致性hash算法是分布式中一个常用且好用的分片算法、或者数据库分库分表算法。现在的互联网服务架构中，为避免单点故障、提升处理效率、横向扩展等原因，分布式系统已经成为了居家旅行必备的部署模式，所以也产出了几种数据分片的方法： 1.取模，2.划段，3.一致性hash 前两种有很大的一个问题就是需要固定 ...
分类：
编程语言 时间：
2019-02-26 19:49:24
阅读次数：
216
