认识Kafka 花费越少的精力在数据移动上，就能越专注于核心业务 《Kafka：The Definitive Guide》 认识 Kafka 之前，先了解一下发布与订阅消息系统：消息的发送者不会直接把消息发送给接收者、发送者以某种方式对消息进行分类，接收者订阅它们，以便能接受特定类型的消息。发布与订 ...
分类：
其他好文 时间：
2020-07-08 23:21:58
阅读次数：
80
Kafka消费者Demo 依赖包： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.0.0</version> </dependency> 源码： p ...
分类：
其他好文 时间：
2020-07-08 18:11:21
阅读次数：
45
一.简单实现 需求：根据 flume 监控 exec 文件的追加数据，写入 kafka 的 test-demo 分区,然后启用 kafka-consumer 消费 test-demo 分区数据。 需求分析 1）flume的配置文件 在hadoop102上创建flume的配置文件 # define a ...
分类：
Web程序 时间：
2020-07-07 23:22:58
阅读次数：
79
查看防火墙状态 firewall-cmd --state 开放端口 firewall-cmd --zone=public --add-port=2181/tcp --permanent firewall-cmd --zone=public --add-port=9092/tcp --permanen ...
分类：
其他好文 时间：
2020-07-07 17:40:16
阅读次数：
62
为什么需要消息队列 周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了…… 第二天正常上着班，突然接到 ...
分类：
其他好文 时间：
2020-07-07 16:05:41
阅读次数：
53
python生产消费Kafka主要是跟KafkaConsumer和KafkaProducer两个类打交道. from kafka import KafkaProducer, KafkaConsumer class PythonKafka(object): def __init__(self, top ...
分类：
编程语言 时间：
2020-07-07 15:01:26
阅读次数：
76
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等近些年来，开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目，关于流处理的大数据框架就有十几个之多，比如早期的ApacheSamza、ApacheStorm，以及这两年火爆的Spark以及Flink等。应该说，每个框架都有自己独特的地方，也都有自己的缺陷。面对这众多的流处理框架，我们应该如何选择呢？在本文汇
分类：
其他好文 时间：
2020-07-07 11:38:26
阅读次数：
67
#!/bin/bash cd /iflytek/client/kafka/kafka/bin echo "1--ZDR_RY_WWAB_RYHLXX" echo "2--ZDR_RY_WWAB__RX_ZJHM" read -p "please input 1-10:" num case $num ...
分类：
其他好文 时间：
2020-07-06 15:59:59
阅读次数：
55
集群环境 kafka+zkIP地址 主机名 Kafka版本 ZooKeeper版本 JDK版本172.17.0.2 kafka_node1 kafka_2.12-2.2.1.tgz zookeeper-3.4.14.tar.gz jdk-8u161-linux-x64.tar.gz172.17.0. ...
分类：
其他好文 时间：
2020-07-06 13:09:22
阅读次数：
50
MQ主要流程 解耦，异步，消峰 其中目的地主要为队列或者主题 队列点对点 消息的生产者 或者 这时消息的生产者名字已经出来 并且入队的数量变成了3 上述完成的也就是这部分 消息的消费者 前四步大同小异 这里需要和消息发送者的类型一致，所以需要强转一下 其中等待接收可以设置为一直等或者设置时长 最后再 ...
分类：
其他好文 时间：
2020-07-06 12:33:08
阅读次数：
64
