1.常见的我们是进入它的消费者模式 , 在里面输入 , 但是如何封装到shell中 kafka-console-producer.sh --broker-list node1:9092 --topic sky 比如我只想把 hello 这条消息发送到Topic sky里面 echo "hello" ...
分类：
系统相关 时间：
2020-06-03 23:08:22
阅读次数：
153
Kafka 是一个高吞吐量的分布式的发布订阅消息系统，在全世界都很流行，在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码，感觉 Kafka 的源码是其中质量比较上乘的一个，这得益于作者高超的编码水平和高超的架构设计能力。 Kafka 的核心源码分为两部分：客户端源码和服务端源码，客户端 ...
分类：
其他好文 时间：
2020-06-03 17:29:19
阅读次数：
68
2.1.3 集群部署 1）解压安装包 [atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ 2）修改解压后的文件名称 [atguigu@hadoop102 module]$ mv kafka_2.11 ...
分类：
其他好文 时间：
2020-06-03 00:48:54
阅读次数：
81
1.1.2 消息队列的两种模式 1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但 ...
分类：
其他好文 时间：
2020-06-03 00:41:04
阅读次数：
180
Kafka 创建背景 Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其网站使用 ...
分类：
其他好文 时间：
2020-06-02 13:23:04
阅读次数：
70
一、kafka的基础架构 1）Producer ：消息生产者，就是向kafka broker发消息的客户端； 2）Consumer ：消息消费者，向kafka broker取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费 ...
分类：
其他好文 时间：
2020-06-02 11:14:14
阅读次数：
69
Maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in ...
分类：
编程语言 时间：
2020-06-01 16:56:16
阅读次数：
74
发送端的可选配置 acks acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项 Ø 0：表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大（因为当 server 宕机时，数据将会丢失）。 Ø 1：表示 produce ...
分类：
其他好文 时间：
2020-05-31 21:27:40
阅读次数：
48
前言 要了解生产者ISR，需要提前了解下生产者重试机制和应答机制 生产者重试机制 创建生产者时，可以指定retries参数，如果向broker发送消息时抛出异常，并且异常是可重试异常RetriableException，那么此时就会按照指定的次数进行重试 1、哪些情况下可以重试 （1）没有到deli ...
分类：
其他好文 时间：
2020-05-31 18:19:32
阅读次数：
105
引言 Kafka是一款很棒的消息系统，今天我们就来深入了解一下它的实现细节，首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer，需要有brokerIP、序列化器等必要Properties以及acks（0、1、n）、compression、retries、ba ...
分类：
其他好文 时间：
2020-05-30 21:48:33
阅读次数：
75
