2.1.3 集群部署 1）解压安装包 [atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ 2）修改解压后的文件名称 [atguigu@hadoop102 module]$ mv kafka_2.11 ...
分类：
其他好文 时间：
2020-06-03 00:48:54
阅读次数：
81
1.1.2 消息队列的两种模式 1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但 ...
分类：
其他好文 时间：
2020-06-03 00:41:04
阅读次数：
180
Kibana介绍 kibana(名字含义: kiwifruit + Banana) 是一个 可视化分析利器,基于 Logstash 的工具, 2013年加入 Elastic 公司. Kibana是一个开源的可视化平台,可以为 ElasticSearch 集群的管理提供友好的Web界面,帮助汇总,分析 ...
分类：
其他好文 时间：
2020-06-02 23:05:08
阅读次数：
94
Kafka 创建背景 Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其网站使用 ...
分类：
其他好文 时间：
2020-06-02 13:23:04
阅读次数：
70
一、kafka的基础架构 1）Producer ：消息生产者，就是向kafka broker发消息的客户端； 2）Consumer ：消息消费者，向kafka broker取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费 ...
分类：
其他好文 时间：
2020-06-02 11:14:14
阅读次数：
69
Maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in ...
分类：
编程语言 时间：
2020-06-01 16:56:16
阅读次数：
74
发送端的可选配置 acks acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项 Ø 0：表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大（因为当 server 宕机时，数据将会丢失）。 Ø 1：表示 produce ...
分类：
其他好文 时间：
2020-05-31 21:27:40
阅读次数：
48
前言 要了解生产者ISR，需要提前了解下生产者重试机制和应答机制 生产者重试机制 创建生产者时，可以指定retries参数，如果向broker发送消息时抛出异常，并且异常是可重试异常RetriableException，那么此时就会按照指定的次数进行重试 1、哪些情况下可以重试 （1）没有到deli ...
分类：
其他好文 时间：
2020-05-31 18:19:32
阅读次数：
105
引言 Kafka是一款很棒的消息系统，今天我们就来深入了解一下它的实现细节，首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer，需要有brokerIP、序列化器等必要Properties以及acks（0、1、n）、compression、retries、ba ...
分类：
其他好文 时间：
2020-05-30 21:48:33
阅读次数：
75
引言 Kafka是一款很棒的消息系统，今天我们就来深入了解一下它的实现细节，首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer，需要有brokerIP、序列化器等必要Properties以及acks（0、1、n）、compression、retries、ba ...
分类：
其他好文 时间：
2020-05-30 20:02:40
阅读次数：
60
