一.Map的原理和运行流程 Map的输入数据源是多种多样的，我们使用hdfs作为数据源。文件在hdfs上是以block(块，Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片，即Split（分片，逻辑划分，不包含具体数据，只包含这些数据的位置信息）,那么上图中 ...
分类：
其他好文 时间：
2020-07-06 14:25:24
阅读次数：
60
Kafka 的核心架构原理。 ##Kafka 分布式存储架构 那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台机器的磁盘上吗？这明显是不靠谱的啊！ 所以说，这里就得考虑数据的分布式存储了，我们结合 Kafka 的具体情况来说说。 在 Kafka 里面，有一个核心的概念叫做“Topic” ...
分类：
其他好文 时间：
2020-07-01 17:26:55
阅读次数：
67
一，shardingjdbc的用途 1,官方站介绍: Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈， 它由 JDBC、Proxy 和 Sidecar（规划中）这 3 款相互独立，却又能够混合部署配合使用的产品组成。 它们均提供标准化的数据分片、分布式 ...
分类：
数据库 时间：
2020-06-24 20:09:19
阅读次数：
224
1. 概述 ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构 ...
分类：
数据库 时间：
2020-06-19 21:00:44
阅读次数：
62
介绍： Sharding-JDBC，定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 Sharding-JDBC的核心功能为 数据分片 和 读写分离 ...
分类：
数据库 时间：
2020-05-02 18:39:54
阅读次数：
381
复制粘贴自: https://www.e-learn.cn/content/redis/2344485, 点击链接访问原文 仅供个人学习参考之用, 高级开发不得不懂的Redis Cluster数据分片机制 Redis 集群简介 Redis Cluster 是 Redis 的分布式解决方案，在 3.0 ...
分类：
其他好文 时间：
2020-04-11 22:14:27
阅读次数：
77
可扩展性就是当增加资源以处理负载和增加容量时系统能够获得的投资产出率（ROI）。 一、规划可扩展性 二、为扩展赢得时间 优化性能 购买性能更强的硬件 三、向上扩展 四、向外扩展 可以把向外扩展（有时也称为横向扩展或者水平扩展）策略划分为三个部分：复制、拆分，以及数据分片（sharding）。 最常见 ...
分类：
数据库 时间：
2020-04-03 20:06:35
阅读次数：
78
Redis集群分片原理及选举流程 集群分片模式 如果Redis只用复制功能做主从，那么当数据量巨大的情况下，单机情况下可能已经承受不下一份数据，更不用说是主从都要各自保存一份完整的数据。在这种情况下，数据分片是一个非常好的解决办法。 Redis的Cluster正是用于解决该问题。它主要提供两个功能： ...
分类：
其他好文 时间：
2020-03-07 13:07:09
阅读次数：
108
1. MongoDB常见的部署架构 * 单机版 * 复制集 * 分片集群 2. 为什么要使用分片集群 * 数据容量日益增大，访问性能日渐下降，怎么破？ * 新品上线异常火爆，如何支撑更多用户并发？ * 单库已有10TB数据，恢复需要1-2天，如何加速？ * 地理分布数据3. 分片如何解决问题？ 银行 ...
分类：
数据库 时间：
2020-03-04 00:06:40
阅读次数：
123
1、常见的三种数据的集群存储模式 1. full mirror：全量镜像模式，单纯备份模式，各个节点数据相同，都包含了全量数据，仅主节点可写，保证了数据冗余和读的负载均衡。数据安全性高，横向扩展能力差，资源利用率不高。 2. pure sharding：数据分片，每个节点的数据不相同，所有节点中数据 ...
分类：
其他好文 时间：
2020-02-20 19:54:08
阅读次数：
67
