Kafka快速入门（十二）——Python客户端一、confluent-kafka1、confluent-kafka简介confluent-kafka是Python模块，是对librdkafka的轻量级封装，支持Kafka0.8以上版本。本文基于confluent-kafka1.3.0编写。GitHub地址：https://github.com/confluentinc/confluent-kaf
分类：
编程语言 时间：
2020-06-15 10:35:22
阅读次数：
65
默认方式：先入先出，消息被追加写入每个分区的尾部 分区：可以在不同的服务器上，也就是说，一个主题可以横跨多个服务器 我们吧一个主题的数据看成一个流，不管分多少区，流就是一组从生产者移动到消费者 一个kafka服务器被称为broker，一个broker可以轻松处理数千个分区一级美妙百万级的消息量 保留 ...
分类：
其他好文 时间：
2020-06-15 10:14:47
阅读次数：
57
Kafka快速入门（十一）——RdKafka源码分析一、RdKafkaC源码分析1、KafkaOP队列RdKafka将与KafkaBroke的交互、内部实现的操作都封装成Operator结构，然后放入OP处理队列里统一处理。KafkaOP队列是线程间通信的管道。RdKafka队列定义在rdkafka_queue.h文件中，队列相关操作封装在rdsysqueue.h文件中。（1）KafkaOP队列t
分类：
其他好文 时间：
2020-06-15 10:12:41
阅读次数：
58
讨论一下kafka参数的配置 1、acks 参数配置 acks这个参数有三个值：0，1，-1，但是不用的参数对应的含义不同，那如果我们想要保证数据不丢失，acks 值应该设置为哪个参数呢？ 0：代表生产者只要把消息发送出去以后就认为消息发送成功了，这种方式有可能会导致数据丢失，因为有可能消息发送到服 ...
分类：
其他好文 时间：
2020-06-14 18:20:10
阅读次数：
66
ELK是日志分析平台，不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写，ELK分别代表：Elasticsearch:负责日志检索和储存 （ELK的核心）Logstash:负责日志的收集和分析、处理Kibana:负责日志的可视化beats是elastic公司开源的一款采集系统监控数据的代理 ...
分类：
其他好文 时间：
2020-06-13 21:39:00
阅读次数：
111
最近很多人问RabbitMQ和Kafka要如何进行选择，甚至有一个风向：说是MQ性能不够了要切Kafka。且先不说成熟系统换组件的风险，光把那一坨沉淀了多年的醇酿翻新重构已然处于崩溃的边缘，蓦然回首，码是人非。 ? 选型最快的方式就是了解下晚出现的中间件的起源，因为他们在付出努力之前肯定做了一波详细 ...
分类：
其他好文 时间：
2020-06-13 19:14:57
阅读次数：
83
预备知识-Restful 起源 在没有前后端分离概念之前，一个网站的完成总是“all in one”，在这个阶段，页面、数据、渲染全部在服务端完成，这样做的最大的弊端是后期维护，扩展极其痛苦，开发人员必须同时具备前后端知识。于是后来慢慢的兴起了前后端分离的思想：即后端负责数据编造，而前端则负责数据渲 ...
分类：
其他好文 时间：
2020-06-12 20:31:17
阅读次数：
116
Zookeeper+Kafka集群安装配置 （Linux系统下安装步骤） 依赖环境搭建 安装 Java1.8 （三台机器统一） 1. 把Java的源文件包java_1.8.0_171放入 /opt目录中，编辑>vi /etc/profile 追加以下内容到文件中，保存:wq后退出 JAVA_HOME ...
分类：
系统相关 时间：
2020-06-12 20:20:02
阅读次数：
89
1.查看某个主题下面的消息 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic web_douyin_author --from-beginning 2.查看所有主题 bin/kafka-topics.sh ...
分类：
其他好文 时间：
2020-06-12 20:03:06
阅读次数：
55
1.安装Kafka 环境说明 OS：Ubuntu 16.04 Zookeeper：zookeeper 3.4.5 Kafka：kafka_2.11-0.11.0.0 jdk：jdk8(Kafka启动需要使用到jdk) 1)jdk安装配置 本次已经安装，如未安装自行百度 安装完成，在终端输入java ...
分类：
其他好文 时间：
2020-06-12 18:43:31
阅读次数：
61
