1、环境规划3台机，每台机5个实例，分别mongos1个，configserver1个，shardserver3个IP:192.168.56.107(mongodb01)实例:mongos:30000shard1:40001(主节点)shard2:40002(仲裁节点)shard3:40003(副节点)config:27027IP:192.168.56.105(mongodb02)实例:mongo
分类：
数据库 时间：
2020-12-08 12:21:00
阅读次数：
8
Kafka里面的信息是如何被消费的？摄影：产品经理跟着产品经理去苏州吃面作为一个爬虫工程师，Kafka对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。请谨记：使用Kafka很容易，但对Kafka集群进行搭建、维护与调优很麻烦。Kafka集群需要有专人来维护，不要以为你能轻易胜任这个工作。”本文，以及接下来的几篇针对Kafka的文章，我们面向的对象都是爬虫工程师或
分类：
其他好文 时间：
2020-12-08 12:03:19
阅读次数：
3
1、背景公司一个RocketMQ集群由4主4从组成，突然其中3台服务器“竟然”在同一时间下线，其监控显示如下：依次查看三台机器的监控图形，时间戳几乎完美“吻合”，不可思议吧。2、故障分析出现问题，先二话不说，马上重启各服务器，尽快恢复集群，降低对业务的影响，接下来开始对日志进行分析。Java进程自动退出(rocketmq本身就是一个java进程)，一种最常见的问题是由于内存溢出或由于内存泄漏导致进
分类：
系统相关 时间：
2020-12-07 12:49:05
阅读次数：
15
消息组接到某项目组反馈，topic在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在的虚拟机中来重现问题。1、案情回顾1.1集群现状集群信息如下：例如业务主体名topic_dw_test_by_order_01的路由信息如图所示：当前的消费者信息：broker的配置信息如下：brokerClusterName=DefaultCl
分类：
其他好文 时间：
2020-12-07 12:44:57
阅读次数：
13
1、问题描述 当我们使用 kubeadm join 命令将 Node 节点加入集群时，你会发现所有 kubectl 命令均不可用（呈现阻塞状态，并不会返回响应结果），我们可以在 Node 节点中通过 kubeadm reset 命令将 Node 节点下线，此时回到 Master 节点再使用 watc ...
分类：
其他好文 时间：
2020-12-05 10:57:01
阅读次数：
9
主从模式环境可以保障消息的即时性与可靠性投递一条消息后，关闭主节点从节点继续可以提供消费者数据进行消费,但是不能接收消息主节点上线后进行消费进度offset同步准备两台机器，一主一从：机器IPhostname角色192.168.243.169rocketmq01master192.168.243.170rocketmq02slave我这里事先在两台机器上安装好了RocketMQ，关于RocketM
分类：
其他好文 时间：
2020-12-05 10:54:50
阅读次数：
10
前言 在本机模拟器的ubuntu18版本上进行的部署测试，参考的官方文档： hadoop: 链接地址 hive: 链接地址 使用的版本： hadoop: 3.2.1 hive: 3.1.2 全程是使用root账号进行的配置。 hadoop安装配置 hadoop使用的是虚拟集群，即单机模拟集群，dat ...
分类：
其他好文 时间：
2020-12-05 10:52:38
阅读次数：
7
##1、--list-hosts # 查看所有配置主机 ansible all --list-hosts #查看tt主机组主机 ansible tt --list-hosts ##2、shell模块 语法： ansible [主机组] -m shell -a '[参数]' 注：复杂命令会有出错得可能 ...
分类：
其他好文 时间：
2020-12-04 11:29:42
阅读次数：
5
程序的发展，需要引入集中配置：随着程序功能的日益复杂，程序的配置日益增多：各种功能的开关、参数的配置、服务器的地址……并且对配置的期望也越来越高，配置修改后实时生效，灰度发布，分环境、分集群管理配置，完善的权限、审核机制……并且随着采用分布式的开发模式，项目之间的相互引用随着服务的不断增多，相互之间的调用复杂度成指数升高，每次投产或者上线新的项目时苦不堪言，因此需要引用配置中心治理。有哪些开源配置
分类：
其他好文 时间：
2020-12-04 11:10:40
阅读次数：
5
设计Spark程式过程中最初始的是创建RDD数据集，该数据集来自定义的源数据，当RDD数据集初始后，再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法，比如：通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式，生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为，通过输入算子（
分类：
其他好文 时间：
2020-12-04 10:59:58
阅读次数：
4
