下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/ kafka同样依赖Java环境，由于和zookeeper在相同的机器上，之前已经安装过了，所有可以直接跳过Java环境安装 参考文档 https://www.cnblogs.com/pan... ...
分类：
其他好文 时间：
2020-03-20 17:02:29
阅读次数：
107
为什么需要学习Spring Cloud不论是商业应用还是用户应用，在业务初期都很简单，我们通常会把它实现为单体结构的应用。但是，随着业务逐渐发展，产品思想会变得越来越复杂，单体结构的应用也会越来越复杂。这就会给应用带来如下的几个问题： 代码结构混乱：业务复杂，导致代码量很大，管理会越来越困难。同时， ...
分类：
编程语言 时间：
2020-03-20 14:21:57
阅读次数：
88
kafka分区，excutor，task，RDD分区的关系： 数据的流：数据流向从kafka>sparkStreaming>RDD 1 kafka中的 topic 的 patition 分区的设置，kafka 的 partition 分区数 ，sparkStreaming 直连方式从kafka中拉数 ...
分类：
其他好文 时间：
2020-03-20 12:30:57
阅读次数：
108
kafka的基本概念 kafka是什么 ？ ? kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统。也是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 kafka扮演的三大角色 消息系统 ：kafka具备系统解耦、冗余存储、流 ...
分类：
其他好文 时间：
2020-03-20 10:47:33
阅读次数：
76
1、消费者与消费者组 假设某 topic 有4个分区，消费者组中只有一个消费者，那么这个消费者将消费全部 partition 中的数据。 如果消费者组中有两个消费者，那么每个消费者消费两个 partition。 如果消费者组中有4个消费者，那么每个消费者消费一个partition。 如果消费者组中有 ...
分类：
其他好文 时间：
2020-03-19 21:29:18
阅读次数：
65
1、main方法中（1.0以上） import org.apache.kafka.clients.consumer.Consumer; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.c ...
分类：
其他好文 时间：
2020-03-18 21:36:32
阅读次数：
83
## kafka的消费时机#### 问题 kafka启动后开始消费的话， 如果此时消费流程中有其他依赖没有启动完成的话，比如 Redis , Mysql ，RPC等就会有空指针或其他问题。这时候就要延后kafka的消费时机。#### 解决kafka启动时，不在启动时开启消费线程。```public ... ...
分类：
其他好文 时间：
2020-03-18 13:51:51
阅读次数：
60
服务器运行环境：spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单，kafka只有固定topics，所以一直使用下面脚本执行实时流计算 spark-submit --packages org.apache.spark:spark-streaming- ...
分类：
其他好文 时间：
2020-03-18 11:45:06
阅读次数：
53
原文:4.【Redis系列】Redis的高级应用-延时队列 我们习惯于用rabbitmq和kafka作为消息中间件，来给应用之间增加异步的能力。但是使用过的同学都知道，使用专业的消息中间件使用起来非常复杂，我们实现一个简单的功能都需要大量的操作。有了redis，可以让我解脱出来，使用redis可以非... ...
分类：
其他好文 时间：
2020-03-18 10:00:40
阅读次数：
58
