```shell #!/bin/bash case $1 in "start"){ for i in hadoop120 hadoop121 hadoop 122 do echo "************$i*************" ssh $i "/.../kafka/bin/kafka-s... ...
分类：
其他好文 时间：
2020-05-24 21:00:57
阅读次数：
111
kafka在Broker端提供了一个配置参数：unclean.leader.election,这个参数有两个值：true（默认）：允许不同步副本成为leader，由于不同步副本的消息较为滞后，此时成为leader，可能会出现消息不一致的情况。false：不允许不同步副本成为leader，此时如果发生 ...
分类：
其他好文 时间：
2020-05-24 18:08:38
阅读次数：
74
Kafka快速入门（四）——Kafka高级功能一、Kafka无消息丢失配置1、Kafka消息丢失简介Kafka只针对已提交消息（committedmessage）做有限度的持久化保证。当Kafka的若干个Broker成功地接收到一条消息并写入到日志文件后，会通知生产者程序相应消息已成功提交。多少个Broker成功保存消息算是已提交，可以由Producer参数或Broker端参数指定。有限度的持久化
分类：
其他好文 时间：
2020-05-24 10:09:30
阅读次数：
56
Kafka快速入门（二）——Kafka架构一、Kafka架构简介1、Kafka架构简介2、RecordRecord即Kafka消息，是Kafka处理的主要对象。3、TopicTopic是承载Kafka消息数据的逻辑容器，用于区分具体的业务，但在物理上，不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存在一个或多个Broker上，但用户只需指定消息的Topic即可生产或消费数据而不必关
分类：
其他好文 时间：
2020-05-24 10:09:12
阅读次数：
47
同样是逻辑上的概念，是Kafka实现单播和广播两种消息模型的手段。同一个topic的数据，会广播给不同的group；同一个group中的worker，只有一个worker能拿到这个数据。换句话说，对于同一个topic，每个group都可以拿到同样的所有数据，但是数据进入group后只能被其中的一个w ...
分类：
其他好文 时间：
2020-05-24 10:06:48
阅读次数：
77
Kafka快速入门（三）——Kafka核心技术一、生产者压缩算法1、Kafka消息压缩压缩（compression）是用时间换空间的经典trade-off思想，使用CPU时间换磁盘空间或网络I/O传输量，以较小的CPU开销带来更少的磁盘占用或更少的网络I/O传输。Kafka有两类消息格式，V1版本和V2版本，V2版本在Kafka0.11.0.0中正式引入。Kafka的消息层次都分为两层：消息集合（
分类：
其他好文 时间：
2020-05-24 09:37:17
阅读次数：
56
Kafka快速入门Kafka快速入门（一）——Kafka简介https://blog.51cto.com/9291927/2493953Kafka快速入门（二）——Kafka架构https://blog.51cto.com/9291927/2497814Kafka快速入门（三）——Kafka核心技术https://blog.51cto.com/9291927/2497820
分类：
其他好文 时间：
2020-05-24 09:32:24
阅读次数：
49
Kafka快速入门（五）——Kafka管理一、Kafka工具脚本简介1、Kafka工具脚本简介Kafka默认提供了很多个命令行脚本，用于实现各种各样的功能和运维管理。默认情况下，不加任何参数或携带--help运行Kafkashell脚本根据，会得到脚本的使用方法说明。connect-standalone.sh用于启动单节点的Standalone模式的KafkaConnect组件。connect-d
分类：
其他好文 时间：
2020-05-24 09:17:35
阅读次数：
55
NETCORE - CAP的使用 CAP 同时支持使用 RabbitMQ，Kafka，Azure Service Bus 等进行底层之间的消息发送。 CAP 目前支持使用 Sql Server，MySql，PostgreSql，MongoDB 数据库的项目。 安装部署RabbbitMQ：https: ...
分类：
Web程序 时间：
2020-05-23 20:19:57
阅读次数：
85
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ ...
分类：
其他好文 时间：
2020-05-23 18:03:51
阅读次数：
49
