承接上文 在上一篇 "文章" 中,我们谈了下Kafka客户端连接后端Broker的认证,导致的无法建立连接的出现原因,了解了为什么无法通过认证,即:客户端未携带与 Zookeeper 中存储的 Broker 连接认证信息 有朋友可能会问了,我知道了这个原理了,知道需要为客户端主机添加 hosts 映 ...
分类:
其他好文 时间:
2020-03-09 13:45:28
阅读次数:
80
引用:https://www.cnblogs.com/adolfmc/p/7345333.html 创建一个消息队列: bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeepe ...
分类:
其他好文 时间:
2020-03-07 10:13:38
阅读次数:
73
1.Kafka文件存储基本结构 1)在Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic名称+有序序号,第一个partiton序号从0开始,序号最大值为partitions数量减1 2)每个partion(目录 ...
分类:
其他好文 时间:
2020-03-03 22:34:12
阅读次数:
102
一、Redis 简介 "Redis is an open source (BSD licensed), in memory data structure store, used as a database, cache and message broker." —— Redis是一个开放源代码(BS ...
分类:
其他好文 时间:
2020-02-28 22:39:53
阅读次数:
83
JAVA开发MQTT总结 MQTT 介绍 它是一种 机器之间通讯 machine to machine (M2M)、物联网 Internet of Things (IoT)常用的一种轻量级消息传输协议 适用于网络带宽较低的场合 包含发布、订阅模式,通过一个代理服务器(broker),任何一个客户端( ...
分类:
编程语言 时间:
2020-02-24 18:28:35
阅读次数:
64
MQTT是一种轻量级的发布 - 订阅消息传递协议,可能使其最适合各种物联网设备。您可以在此处找到有关MQTT的更多信息。ThingsBoard服务器节点充当MQTT Broker,支持QoS级别0(最多一次)和1(至少一次)以及一组预定义主题。 ...
分类:
其他好文 时间:
2020-02-24 16:54:15
阅读次数:
143
kafka broker:运行kafka server的服务被称为broker,它主要用于接手topic消息,管理topic,持久化和存储topic数据,kafka审计,kafka权限管理等。 topic:消息主题,每个topic唯一,可存储和传输数据。(MQ中通常有Topic和Queue 2中消息 ...
分类:
其他好文 时间:
2020-02-22 18:31:35
阅读次数:
82
RedisQueue是一款轻量级的分布式异步任务队列调度框架,基于redis数据库作为broker,生产端将任务job存储到redis数据库中,消费端监听队列并取出任务执行。 1.基础架构 rq框架使用前需要安装rq库,使用pip安装即可:pip install rq 1.1 生产者 生产者将任务发 ...
分类:
编程语言 时间:
2020-02-21 18:40:13
阅读次数:
156
简单使用 安装celery及redis 定义celery任务 项目下新建tasks.py from celery import Celery # 创建一个Celery类的实例对象 app = Celery('celery_task.tasks', broker='redis://127.0.0.1: ...
分类:
其他好文 时间:
2020-02-20 00:20:27
阅读次数:
114
1. 大多应用中,可通过消息服务中间件来提升系统异步通信、扩展解耦能力 2. 消息服务中两个重要概念: 消息代理(message broker)和目的地(destination) 当消息发送者发送消息以后,将由消息代理接管,消息代理保证消息传递到指定目 的地。 3. 消息队列主要有两种形式的目的地 ...
分类:
编程语言 时间:
2020-02-18 20:10:31
阅读次数:
88