主要介绍shard内部的原理，包含写入、更新删除，translog机制，segment合并等，了解数据库的童鞋对translog机制应该非常熟悉，原理上大同小异，仅作抛砖引玉 ...
分类：
其他好文 时间：
2020-01-23 09:28:02
阅读次数：
71
"Apache ShardingSphere" "sharding core merge" "从一次Snowflake异常说起" ...
分类：
其他好文 时间：
2020-01-20 14:41:22
阅读次数：
108
概要 本篇主要介绍一下分布式环境中搜索的两阶段执行过程。 两阶段搜索过程 回顾我们之前的CRUD操作，因为只对单个文档进行处理，文档的唯一性很容易确定，并且很容易知道是此文档在哪个node，哪个shard中。 但搜索比CRUD复杂，符合搜索条件的文档，可能散落在各个node、各个shard中，我们需 ...
分类：
其他好文 时间：
2020-01-18 10:23:21
阅读次数：
67
1. 背景 线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美 ...
分类：
数据库 时间：
2020-01-16 16:06:23
阅读次数：
108
搭建redis集群有两种方式，原理一样，一个是通过redis提供的脚本文件来启动默认的集群实例，另一个是手动配置。 一.默认脚本启动 在redis的安装的utils/create-cluster目录下，有个create-cluster执行文件，查看文件我们只需要改两个地方： #!/bin/bash ...
分类：
其他好文 时间：
2020-01-15 20:04:41
阅读次数：
95
本文以TermQuery，GlobalOrdinalsStringTermsAggregator为例，通过代码，分析es，lucene搜索及聚合流程。1：协调节点收到请求后，将search任务发到相关的各个shard。 相关代码： TransportSearchAction.executeSearc ...
分类：
Web程序 时间：
2020-01-12 20:25:29
阅读次数：
121
一、常见的nosql 二、Redis，Memcache，MongoDb的特点 （1）.Redis 优点： 1.支持多种数据结构，如 string(字符串)、 list(双向链表)、dict(hash表)、set(集合)、zset(排序set)、hyperloglog(基数估算) 2.支持持久化操作， ...
分类：
数据库 时间：
2020-01-10 22:02:38
阅读次数：
275
Google三驾马车如何解决海量数据存储与计算问题。
分类：
其他好文 时间：
2019-12-31 23:53:25
阅读次数：
92
在ES查询时，有些数据是热点数据，这些数据是需要需要更好的机器配置的节点，当数据变得不是那么重要的时候，我们需要转到配置相对低的节点上。 比如热点新闻专题，我们需要更好的机器，热点过后，这些数据不再需要那么快的查询效率。这种情况我们可以通过ES的配置来实现。 热节点要求： cpu，内存，io 配置比 ...
分类：
其他好文 时间：
2019-12-29 13:01:26
阅读次数：
115
ELASTIC 写i性能优化 refresh translog flush refresh 优化 translog优化 flush 优化 读性能优化 shard 设置 ...
分类：
其他好文 时间：
2019-12-26 00:02:51
阅读次数：
110
