常见mongodb部署架构 1.为什么要是用分片集群 ? 数据容量日益增大,访问性能日渐降低,怎么破? 新品上线异常火爆,如何支撑更多的并发用户? 单库已有 10TB 数据,恢复需要1-2天,如何加速? 地理分布数据 2.分片如何解决 如何分片 >>>> 完整的分片集群 mongos:路由节点 1. ...
分类:
其他好文 时间:
2021-07-01 16:29:57
阅读次数:
0
聊聊用UUID/GUID作为主键那些坑访问欠友好的UUID我刚读了一篇有关如何扩展数据库的文章,作者建议将UUID(类似于GUID)用作数据库表的主键(PK)。使用UUID的优点与自动递增整数相比,将UUID用作主键的优点很多:适合大规模数据。当你把数据分片(例如一组客户数据)存在多个数据库时,使用UUID意味着ID在所有数据分片中都是唯一,而不仅仅是当前那个分片所在数据库。这使得跨数据库移动更为
分类:
其他好文 时间:
2020-11-08 16:33:31
阅读次数:
20
Redis是一个高性能的key-value存储系统,被广泛用于微服务架构中。如果我们想要使用Redis集群模式提供的高级特性,则需要对客户端代码进行改动,这带来了应用升级和维护的一些困难。利用Istio和Envoy,我们可以在不修改客户端代码的前提下实现客户端无感知的RedisCluster数据分片,并提供读写分离、流量镜像等高级流量管理功能。RedisClusterRedis的一个常见用途是用作
分类:
其他好文 时间:
2020-10-22 22:59:55
阅读次数:
22
Redis 是一个高性能的 key-value 存储系统,被广泛用于微服务架构中。如果我们想要使用 Redis 集群模式提供的高级特性,则需要对客户端代码进行改动,这带来了应用升级和维护的一些困难。利用 Istio 和 Envoy ,我们可以在不修改客户端代码的前提下实现客户端无感知的 Redis ...
分类:
其他好文 时间:
2020-10-22 22:37:49
阅读次数:
19
今天在这分享目前国内公司Java面试常问的问题包括JVM、常用的算法和数据结构,redis缓存,分布式,Spring,微服务等。正所谓知己知彼,只有体系知识巩固,面对不断更新的技术才能快速掌握,同时在面试、工作中也更能脱颖而出! 由于篇幅原因,在这答案就不做全部展示了,这些题我已经整理成pdf文档免 ...
分类:
编程语言 时间:
2020-10-16 10:42:00
阅读次数:
22
1. 初识shardingJdbc 2. sharding-jdbc四种配置方式 3. YAML配置方式及mysql环境准备 4. sharding-jdbc分库分表实例测试 5. 轻量的sharding-jdbc在我目前工作项目的集成方案 1. 初识shardingJdbc 定位为轻量级Java框 ...
分类:
数据库 时间:
2020-09-18 12:28:44
阅读次数:
57
shardingsphere(https://github.com/apache/shardingsphere)是一套开源的分布式数据中间件,可以在JDBC层, Proxy层进行SQL路由。 可以完成数据库读写分离, 数据分片等。 数据库库中间件一般会在两个地方: 1. 项目的JDBC层:对项目浸入 ...
分类:
其他好文 时间:
2020-08-19 20:10:57
阅读次数:
110
了解MongoDB 一、简介 MongoDB 数据库的一些特性: · 面向文档存储,基于JSON/BSON 可表示灵活的数据结构 · 动态 DDL能力,没有强Schema约束,支持快速迭代 · 高性能计算,提供基于内存的快速数据查询 · 容易扩展,利用数据分片可以支持海量数据存储 · 丰富的功能集, ...
分类:
数据库 时间:
2020-07-27 13:50:59
阅读次数:
81
前言 上一节我们讲了哈希算法的四个应用,分别是安全加密、数据校验、唯一标识、散列函数。今天再来看看剩下的三个应用:负载均衡、数据分片、分布式存储。 可能大家已经发现了,这三个应用都是与分布式相关的。没错,今天我们来学习一下,哈希算法是如何解决这些分布式问题的。 应用五:负载均衡 负载均衡算法有很多, ...
分类:
编程语言 时间:
2020-07-06 20:00:29
阅读次数:
69
Spark 分组取Top N运算 大数据处理中,对数据分组后,取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类:
其他好文 时间:
2020-07-06 16:11:05
阅读次数:
78