Kafka快速入门(四)——Kafka高级功能一、Kafka无消息丢失配置1、Kafka消息丢失简介Kafka只针对已提交消息(committedmessage)做有限度的持久化保证。当Kafka的若干个Broker成功地接收到一条消息并写入到日志文件后,会通知生产者程序相应消息已成功提交。多少个Broker成功保存消息算是已提交,可以由Producer参数或Broker端参数指定。有限度的持久化
分类:
其他好文 时间:
2020-05-24 10:09:30
阅读次数:
56
Kafka快速入门(二)——Kafka架构一、Kafka架构简介1、Kafka架构简介2、RecordRecord即Kafka消息,是Kafka处理的主要对象。3、TopicTopic是承载Kafka消息数据的逻辑容器,用于区分具体的业务,但在物理上,不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存在一个或多个Broker上,但用户只需指定消息的Topic即可生产或消费数据而不必关
分类:
其他好文 时间:
2020-05-24 10:09:12
阅读次数:
47
2.x版本之前都叫emqtt,3.x之后版本都叫emqx 下载地址:https://www.emqx.io/cn/downloads#broker 安装部署 1.下载软件包后上传到服务器,解压 unzip emqttd-centos7-v2.0.zip 2.以调试模式启动,检查服务是否正常 [roo ...
分类:
其他好文 时间:
2020-05-24 00:50:41
阅读次数:
76
1.ActiveMQ重试机制是什么? 消费者收到消息,之后出现异常了,没有告诉broker确认收到该消息,broker会尝试再将该消息发送给消费者。尝试n次,如果消费者还是没有确认收到该消息,那么该消息将被放到死信队列中,之后broker不会再将该消息发送给消费者。 2.具体哪些情况会引发消息重发? ...
分类:
其他好文 时间:
2020-05-21 22:27:53
阅读次数:
145
五类Kafka客户端作用和区别在上文中介绍了如何搭建一个Kafka服务,那么在开发中我们要如何去访问、集成Kafka呢?这就需要使用到本文将要介绍的Kafka客户端API。下图是官方文档中的一个图,形象表示了能与Kafka集成的客户端类型:这些客户端通过API与Kafka进行集成,Kafka的五类客户端API类型如下:AdminClientAPI:允许管理和检测Topic、broker以及其他Ka
为何采用 TCP? Apache Kafka 的所有通信都是基于 TCP 的 而不是基于 HTTP 或其他协议 无论是生产者、消费者,还是 Broker 之间的通信都是如此 人们能够利用 TCP 本身提供的一些高级功能,比如多路复用请求以及同时轮询多个连接的能力 所谓的多路复用请求,即 multip ...
分类:
编程语言 时间:
2020-05-14 15:58:34
阅读次数:
102
加載引用 'datagrid-export.js' 文件 <script type="text/javascript" src="datagrid-export.js"></script> 导出数据表格 $('#dg').datagrid('toExcel','dg.xls'); // export ...
分类:
其他好文 时间:
2020-05-13 12:14:18
阅读次数:
389
1、失败重试策略: 通过查看源码,消息消费的状态,有2种,一个是成功(CONSUME_SUCCESS),一个是失败&稍后重试(RECONSUME_LATER) 在启动broker的过程中,可以观察到上图日志,你会发现RECONSUME_LATER的策略:如果消费失败,那么1S后再次消费,如果失败,那 ...
分类:
其他好文 时间:
2020-05-11 18:25:37
阅读次数:
60
Centreon涉及的部件似乎很多,按照常规的思路,如果要把配置和数据迁移到别的地方(比如换新机器),感觉上应该是比较麻烦的。大致考虑一下,就应该包含apache、php、centreon-engine、centreon-broker、数据库等各种配置。如果一个个的备份导出再导入,很累而且可能遗漏。不想这么干,于是就思量,能不能更简单一些呢?原理上讲,centreon与其它的机制有很大的不同,就是
分类:
其他好文 时间:
2020-05-08 10:08:28
阅读次数:
69
Kafka基于Zookeeper协调的分布式日志系统,可以当做MQ。主要就是做:日志收集系统、消息系统。还有就是用于用户活动跟踪:记录web用户或者app用户的各种活动,相信大家都感受到了吧。上篇我们已经提到,消息系统的两种传递模式:点对点、订阅/发布。这里将不再赘述。【对比】名称Column2RabbitMQ使用Erlang编写的一个开源的消息队列,适合企业级的开发,同时实现了Broker构架,
分类:
其他好文 时间:
2020-05-08 09:42:36
阅读次数:
66