消息组接到某项目组反馈，topic在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在的虚拟机中来重现问题。1、案情回顾1.1集群现状集群信息如下：例如业务主体名topic_dw_test_by_order_01的路由信息如图所示：当前的消费者信息：broker的配置信息如下：brokerClusterName=DefaultCl
分类：
其他好文 时间：
2020-12-07 12:44:57
阅读次数：
13
1.集群的数据迁移 在工作中经常会遇到redis集群的扩容的场景，因为当一个集群服务器中的内存不够用无法支撑更大数据量的缓存或者并发量不够（个人理解），就会将原有的集群扩展。集群扩容需要将集群中原有的master节点上的槽位以及数据迁移到新加入的master节点上。 每个槽都把要里面的数据迁移完才能 ...
分类：
其他好文 时间：
2020-10-09 21:40:42
阅读次数：
46
1. 一期工程项目技术架构 1）业务驱动 2）问题驱动 2. 二期工程项目技术架构 项目优化原则： 1）优先从架构和程序进行优化 2）考虑增加集群扩容 做任务为什么不适用kafka？ 1）此业务用户量还小 2）数据量小 3）使用kafka大材小用，资源浪费 为什么同时使用db和redis 1）用户成 ...
分类：
其他好文 时间：
2020-07-12 00:58:36
阅读次数：
115
本篇将会讲解应用部署到Kubenetes集群，集群副本集查看，集群自愈能力演示，集群扩容，滚动升级，以及回滚。 本篇是Docker&Kubenetes系列的第四篇，在前面的篇幅中，我们向Kubenetes中部署了单个应用实例。如果单个节点故障了，那么服务就不可用了，这在实际环境中是不能接受的。在实际 ...
分类：
Web程序 时间：
2020-05-19 22:36:49
阅读次数：
78
1.1 Node节点维度 参考博客：https://www.jianshu.com/p/b50d7fdbe544 1、多节点的集群方案 1. 路由一个文档到一个分片中：当索引一个文档的时候，文档会被存储到一个主分片中。 2. Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？实际上 ...
分类：
其他好文 时间：
2020-05-07 15:11:30
阅读次数：
70
阿里云 K8s 集群的一个重要特性，是集群的节点可以动态的增加或减少。有了这个特性，集群才能在计算资源不足的情况下扩容新的节点，同时也可以在资源利用率降低的时候，释放节点以节省费用。这篇文章，我们将讨论阿里云 K8s 集群扩容与缩容的实现原理。理解实现原理，在遇到问题的时候，我们就可以高效地排查并定... ...
分类：
其他好文 时间：
2020-04-24 12:49:01
阅读次数：
72
在IT运维工作中我们使用elasticsearch 作为上百万大数据查询的工具，我们经常会遇到es 内存不足导致es集群分片 损坏的情况， 介于以上情况，我在这里为大家提供es 集群扩容的正确操作方式 我这里使用两台es作为数据节点，分别是es1 和es2，为了将两台服务器节点都从4G调整到16G， ...
分类：
其他好文 时间：
2020-03-22 01:39:00
阅读次数：
129
Ceph —— 均衡PG 日常工作中，我们常常会发现PG不均衡，而集群中只要有一个OSD先达到full的状态，则整个集群都无法写入数据，所以为了尽可能的提高集群存储空间的利用率，我们都希望PG尽可能的均匀分布在OSD上。 出现PG不均衡最常见的背景情况： 刚刚安装部署Ceph集群完毕 集群扩容或是其 ...
分类：
其他好文 时间：
2020-01-04 18:43:08
阅读次数：
171
内容： Redis 编译安装 Redis Cluster部署 Redis 集群扩容 Redis 指定机器下线 环境： 主机名 IP node1 192.168.10.1 node2 192.168.10.2 node3 192.168.10.3 node4 192.168.10.4 node5 19 ...
分类：
其他好文 时间：
2019-11-15 14:27:19
阅读次数：
82
一、创建节点（接上文） 1、在H1服务器/root/soft目录下创建7002目录 2、将7001目录的配置文件redis.conf拷贝到7002，并修改配置文件的端口 3、进入 redis-5.0.5 目录下，执行启动命令 ./src/redis-server ../7002/redis.conf ...
分类：
其他好文 时间：
2019-11-14 20:19:47
阅读次数：
119
