本文是使用servlet3.0的技术实现基于http协议的发布/订阅系统broker, 图2所示即为物联网broker系统设计架构。后台broker分成两大模块:发布中心(用户和设备)和订阅中心(用户和设备),以及事件总线。这样的设计或许会有疑惑,为什么不直接抽象成事件的发布和订阅中心,如此不久和m... ...
分类:
Web程序 时间:
2017-07-05 20:00:50
阅读次数:
425
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。 官方的文档 Configuration比较老了,很多参数有所变动, 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也 ...
分类:
其他好文 时间:
2017-07-04 18:15:47
阅读次数:
254
发现有一些kafka的知识会经常忘记,稍微小总结一下能想起来的。 1、kafka简单理解容灾 kafka的partition是在主题创建的时候指定的,并且指定复制份数。有多个broker的情况,会根据一定的规则将leader的partition尽量分配到不同的broker,并且leaderparti ...
分类:
其他好文 时间:
2017-06-28 23:06:30
阅读次数:
155
本文编写,参考:https://my.oschina.net/bieber/blog/725646 producer Send()的Message最终将由broker处理,处理类为:SendMessageProcessor ,处理方法:processRequet. ...
分类:
其他好文 时间:
2017-06-27 18:38:23
阅读次数:
183
点评一下先:kafka的存储主要有几个特点: 1. 多级索引(名义上是1级索引,但是这级索引依赖了文件列表,相当于文件列表是第一级索引,所以是二级索引),二级索引文件和数据文件一一对应。 相比只有1级索引,这样可以支持更大的数据量,也可以更好的支持删除。如果我来设计这个存储系统,我会这样设计: 第一 ...
分类:
其他好文 时间:
2017-06-27 16:22:23
阅读次数:
237
Broker可以被看成消息转发器。Broker也负责一些控制和管理操作。它能够定位服务端的位置,若发生异常,能够将异常捕获传给Client。Broker需要提供注册服务的接口给Server。如果请求来自其他的Broker,本地的Broker需要转发请求并最终将结果或异常回应给相应的远程Broker。... ...
分类:
其他好文 时间:
2017-06-22 20:52:20
阅读次数:
159
一、kafka是一个消息中间件,具体的起源等介绍忽略。 kafka主要需要了解有四部分: 1、producer 生产者 2、consumer 消费者 3、broker 服务 4、topic 消息主题 总结就是,生产者将主题生产出来交给服务管理,由消费者消费。 二、kafka安装(mac_os) 1、 ...
分类:
其他好文 时间:
2017-06-19 11:00:14
阅读次数:
171
apache kafka中国社区QQ群:162272557 概览 近期kafka server消息服务上线了,基于jmx指标參数也写到zabbix中了。但总认为缺少点什么东西。可视化可操作的界面。zabbix中数据比較分散,不能集中看整个集群情况。或者一个cluster中broker列表。自己写we ...
分类:
Web程序 时间:
2017-06-18 11:54:16
阅读次数:
223
ActiveMQ支持的client-broker通讯协议有:TCP、NIO、UDP、SSL、Http(s)、VM。 其中配置Transport Connector的文件在activeMQ安装目录的conf/activemq.xml中的
...
分类:
其他好文 时间:
2017-06-18 10:26:00
阅读次数:
191
RabbitMQ Server: 也叫broker server,它不是运送食物的卡车,而是一种传输服务。原话是RabbitMQisn’t a food truck, it’s a delivery service. 他的角色就是维护一条从Producer到Consumer的路线,保证数据能够按照指 ...
分类:
其他好文 时间:
2017-06-17 18:24:43
阅读次数:
268