1.AMQP Messaging中的基本概念 Broker:接收和分发消息的应用,RabbitMQ Server就是Message Broker。Virtual Host:出于多租户和安全因素设计的,把AMQP的基本组件划分到一个虚拟的分组中,类似于网络中的Namespace概念。当多个不同的用户使 ...
分类:
其他好文 时间:
2020-07-01 15:57:34
阅读次数:
73
基础概念 正所谓工欲善其事,必先利其器。我们先来了解一下kafka的基础构成。 producer 消息生产者,发布消息到kafka集群的终端或服务。 broker kafaka集群中包含的服务器 topic 每条发布到kafka集群的消息属于的类别,即kafka是面向topic的。 partitio ...
分类:
其他好文 时间:
2020-07-01 14:24:04
阅读次数:
73
RabbitMQ是基于AMQP协议的,通过使用通用协议就可以做到在不同语言之间传递。 AMQP协议 核心概念 server:又称broker,接受客户端连接,实现AMQP实体服务。 connection:连接和具体broker网络连接。 channel:网络信道,几乎所有操作都在channel中进行 ...
分类:
其他好文 时间:
2020-06-30 22:56:43
阅读次数:
92
==环境== 系统:Linux Centos7.2 RocketMQ版本:4.6.1 ==集群形态== ==修改前配置文件== broker-a.properties brokerClusterName=rexel brokerName=broker-a brokerId=0 deleteWhen= ...
分类:
其他好文 时间:
2020-06-30 13:19:08
阅读次数:
287
1.oracle 用户环境: 主库: [oracle@hzmtx admin]$ cat ~/.bash_profile # .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi ...
分类:
数据库 时间:
2020-06-28 00:20:49
阅读次数:
82
名词: commitLog : 消息存储的地方,持久化到磁盘中,保存着生产者发送的完整消息。 consumerqueue: 逻辑消费队列,每一个队列中维护着commitLog 文件中的消息偏移量进行消费。 index: 索引文件。 初始化: 在Broker 启动的时候,org.apache.rock ...
分类:
其他好文 时间:
2020-06-26 21:48:18
阅读次数:
63
##一、消费者消费原理 在实际生产过程中,每个topic都会对对应多个partitions,好处如下: 能够对 broker 上的数据进行分片有效减少了消息的容量从而提升 io 性能 为了提高消费端的消费能力,一般会通过多个consumer 去消费同一个 topic #####Q1. 在开启多个co ...
分类:
其他好文 时间:
2020-06-26 18:44:03
阅读次数:
62
Kafka-分区分配规则 kafka的基本存储单元是分区。分区无法在多个broker间进行再细分,也无法在同一个broker的多个磁盘上进行再细分。所以,分区的大小受到单个挂载点可用空间的限制。 在配置kafka的时候,使用log.dirs参数来配置用于存储分区的目录清单。 分区分配 在创建主题时, ...
分类:
其他好文 时间:
2020-06-23 22:53:00
阅读次数:
73
1.什么是Celery? Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储任务 官方推荐 redis rabbitMQ / backend 用于存储任务执行结果的 3.员工 worke ...
分类:
其他好文 时间:
2020-06-23 21:44:42
阅读次数:
72
$ cat -n config/server.properties broker.id=0 // broker ID, 集群模式下该ID必须唯一,且永恒不变 listeners=PLAINTEXT://your_host_name:9092 // 配置你的应用所在IP地址,我理解为访问白名单配置 z ...
分类:
其他好文 时间:
2020-06-21 19:35:58
阅读次数:
133