DDB设计的两个问题 1）分段 – 分割关系成“段” ；逻辑上 2）分配 – 将段置放到站点 ；物理存储上 ? 目标 – 优化响应时间/吞吐量/费用/… 分段元则 假若有全局关系R 被分段为子关系(片段)集合， – 完整性，分片之后，不能丢失元素 – 不相交性，每一个元素只能分配到唯一的一个分段 – ...
分类：
数据库 时间：
2020-03-11 15:29:57
阅读次数：
103
可靠性传输需要解决的问题 资源的无端浪费 数据的破坏 数据的丢包 数据的重复 数据的分片顺序混乱 传输速度慢 传输数据量过大导致网络拥堵 解决措施 通过序列号与确认应答提高可靠性 当发送端的数据到达接收主机时，接收端主机会返回一个已收到消息的通知。这个消息叫做确认应答（ACK） 序列号可以实现确认应 ...
分类：
其他好文 时间：
2020-03-09 19:33:31
阅读次数：
86
场景分析由于公司zabbix的历史数据存储在elasticsearch中，有个需求是尽可能地把监控的历史数据存储的长一点，最好是一年，目前的情况是三台ES节点，每天监控历史数据量有5G，目前最多可存储一个月的数据，超过30天的会被定时删除，每台内存分了8G，且全部使用机械硬盘，主分片为5，副本分片为1，查询需求一般只获取一周的历史数据，偶尔会有查一个月到两个月历史数据的需求。节点规划为了让ES能存
分类：
其他好文 时间：
2020-03-09 12:00:46
阅读次数：
91
Redis集群分片原理及选举流程 集群分片模式 如果Redis只用复制功能做主从，那么当数据量巨大的情况下，单机情况下可能已经承受不下一份数据，更不用说是主从都要各自保存一份完整的数据。在这种情况下，数据分片是一个非常好的解决办法。 Redis的Cluster正是用于解决该问题。它主要提供两个功能： ...
分类：
其他好文 时间：
2020-03-07 13:07:09
阅读次数：
108
level_cachewww.zhaoch.top > 项目level cache是一个golang编写支持分片存储的多级的缓存库。整体设计上在保障性能够用的前提下尽可能的通过设计方案简化代码实现，便于维护和二次开发。该库能够管理多种速度价格不同的设备进行对象分片的功能，实现性能和价格的平衡。lev ...
分类：
系统相关 时间：
2020-03-06 12:48:08
阅读次数：
85
1. MongoDB常见的部署架构 * 单机版 * 复制集 * 分片集群 2. 为什么要使用分片集群 * 数据容量日益增大，访问性能日渐下降，怎么破？ * 新品上线异常火爆，如何支撑更多用户并发？ * 单库已有10TB数据，恢复需要1-2天，如何加速？ * 地理分布数据3. 分片如何解决问题？ 银行 ...
分类：
数据库 时间：
2020-03-04 00:06:40
阅读次数：
123
最近云上用户用户遇到一个 sharding 集群性能问题的疑惑，比较有代表性，简单分享一下 测试配置 mongos x 2、shard x 3 测试1：集合不开启分片，批量 insert 导入数据，每个 batch 100 个文档 测试2：集合开启分片，随机生成 shardKey，chunk 已提前 ...
分类：
数据库 时间：
2020-03-02 16:30:09
阅读次数：
76
Schema.xml 作为 MyCat 中重要的配置文件之一，管理着 MyCat 的逻辑库、表、分片规则、DataNode 以及 DataSource。 <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat: ...
分类：
其他好文 时间：
2020-02-28 23:06:41
阅读次数：
112
1、redis cluster介绍 redis cluster （1）自动将数据进行分片，每个master上放一部分数据 （2）提供内置的高可用支持，部分master不可用时，还是可以继续工作的 在redis cluster架构下，每个redis要放开两个端口号，比如一个是6379，另外一个就是加1 ...
分类：
编程语言 时间：
2020-02-28 22:55:20
阅读次数：
68
一、Es是如何实现分布式的 1.Es本身基于lucene,高度支持分布式的核心思想就在于，在多个服务器上启动多个Es进程实例，组建了一套Es集群。 2.其次，因为shard分片的应用，非常灵活的支持数据量横向扩展（只需要重建一个索引，多加shard，把数据迁进去）。再者说shard的数据其实是有多个 ...
分类：
其他好文 时间：
2020-02-28 01:38:45
阅读次数：
109
