python中RabbitMQ的使用（安装和简单教程） 1，简介 RabbitMQ（Rabbit Message Queue）是流行的开源消息队列系统，用erlang语言开发。 1.1关键词说明： Broker：消息队列服务器实体。Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。 ...
1.特性 1）高吞吐量、低延迟 2）支持热扩展 3）支持高并发 2.组成 Producer 特指消息的生产者 Consumer 特指消息的消费者 Consumer Group 消费者组，可以并行消费Topic中partition的消息 Broker：缓存代理，Kafa 集群中的一台或多台服务器统称为 ...
分类：
其他好文 时间：
2019-10-02 18:52:29
阅读次数：
104
2.1 下载kafka并安装kafka_2.12-2.3.0.tgz 2.2 配置kafka集群 2.3 拷贝至各节点scp -r ~/kafka_2.12-2.3.0 hadoop02:~/scp -r ~/kafka_2.12-2.3.0 hadoop03:~/2.4 到各节点修改server. ...
分类：
其他好文 时间：
2019-10-02 12:37:33
阅读次数：
111
这里的selectOneMessageQueue的其实内部调用MQFaultStrategy内部对象的selectOneMessageQueue： 我个人看来，这个估算功能倒不是特别重要，所以mq默认是不使用这个逻辑，不过这个不妨碍我们研究下。下面是MQFaultStrategy的selectOne ...
分类：
其他好文 时间：
2019-10-01 20:15:31
阅读次数：
85
说在前面 本次开始进行rocketmq源码解析，比较喜欢rocketmq的架构设计，rocketmq内嵌了namesrv注册中心保存了元数据，进行负载均衡、容错的一些处理，4.3以上支持消息事务，有管理控制台、命令行工具，底层namesrv与broker、client与server交互netty实现 ...
分类：
其他好文 时间：
2019-10-01 13:32:33
阅读次数：
92
一、broker参数 broker.id：kafka集群的唯一标识。 log.dirs：kafka存储消息日志的目录，多个用逗号隔开，需要保证指定的目录有充足的磁盘空间。 zookeeper.connect：必须配置，指定kafka集群注册的zookeeper集群的地址。格式是：[主机名]:端口，多 ...
分类：
其他好文 时间：
2019-09-29 12:54:03
阅读次数：
366
前言 1. SpringBoot整合配置详解 publisher confirms,实现一个监听器用于监听Broker端给我们返回的确认请求： publisher returns,保证消息对Broker端是可达的，如果出现路由键不可达的情况，则使用监听器对不可达的消息进行后续的处理，保证消息的路由成 ...
分类：
编程语言 时间：
2019-09-28 14:37:28
阅读次数：
83
SparkStreaming+Kafka ?kafka是什么，有哪些特点 ?SparkStreaming+Kafka有什么好处 –解耦 –缓冲 消息列队的特点 生产者消费者模式 ?可靠性保证 –自己不丢数据 –消费者不丢数据：“至少一次，严格一次” broker n. 经纪人，掮客 vt. 以中间人... ...
分类：
其他好文 时间：
2019-09-28 00:47:33
阅读次数：
116
celery 1.概念 基本概念：Broker, Backend 什么是broker? broker是一个消息传输的中间件，可以理解为一个队列。每当应用程序调用celery的异步任务的时候，会向broker传递消息，而后celery的worker将会取到消息，进行对应的程序执行。 Broker的中文 ...
分类：
其他好文 时间：
2019-09-28 00:36:54
阅读次数：
105
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提 ...
分类：
其他好文 时间：
2019-09-27 19:34:16
阅读次数：
365
