如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题 为什么分区？ Kafka 有主题（Topic）的概念，它是承载真实数据的逻辑容器 而在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分区 - 消息 主题下的每 ...
分类：
其他好文 时间：
2020-05-03 14:35:58
阅读次数：
72
网络并发知识点梳理 软件开发架构 软件目录结构： 互联网协议 网路通信过程 TCP协议：三次握手四次挥手 图片 socket——套接字 用来实现网络通信。 socket，是一个位于应用层，和tcp/ip等层的，中间层。是一个抽象层。将各种协议封装起来，供应用层调用。 TCP 服务端: TCP 客户端 ...
分类：
其他好文 时间：
2020-05-03 12:33:05
阅读次数：
53
``` import java.util.LinkedList; /** * @Author 昊 * @Create 2020/5/2 9:34 * @Description 临界资源，存放汉堡 */ public class Box { //要进行频繁的删除操作所以使用LinkedList pri... ...
分类：
编程语言 时间：
2020-05-02 21:22:28
阅读次数：
77
回顾： 生产者消费者模型 主要为了解决强耦耦合的问题 队列 from multiprocessing import Queue 先进先出 队列本身是安全的 from multiprocessing import JoinableQueue task_done（） 每消费一个数据，就返回一个标识 jo ...
分类：
编程语言 时间：
2020-05-02 20:56:22
阅读次数：
66
多线程 创建线程方式1 /** * 创建线程方式1： * 1、继承Thread类 * 2、重写run方法 * 3、调用start开启线程 * 注意：线程开启不一定执行，由CPU调度 */ public class ThreadTest extends Thread{ @Override public ...
分类：
编程语言 时间：
2020-05-01 20:31:23
阅读次数：
67
一、Kafka架构 Producer ：消息生产者，就是向 kafka broker 发消息的客户端； Consumer ：消息消费者，向 kafka broker 取消息的客户端； Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分 ...
分类：
其他好文 时间：
2020-05-01 18:58:23
阅读次数：
71
本篇文章为系列文章，未读第一集的同学请猛戳这里：Spring Cloud 系列之 Stream 消息驱动（一） 本篇文章讲解 Stream 如何实现消息分组和消息分区。 消息分组 点击链接观看：Stream 消息分组视频（获取更多请关注公众号「哈喽沃德先生」） 如果有多个消息消费者，那么消息生产者发 ...
分类：
编程语言 时间：
2020-05-01 18:35:28
阅读次数：
71
一、Kafka 0.11 参考文档 (1)https://kafka.apache.org/0110/documentation.html 二、kafka 0.8 1、命令行操作 (1)新建topic (2)发送消息 2、API使用 (1)pom依赖 (2)生产者api使用 参考文档 (1)http ...
阻塞队列 概念 队列 队列就可以想成是一个数组，从一头进入，一头出去，排队买饭 阻塞队列 BlockingQueue 阻塞队列，排队拥堵，首先它是一个队列，而一个阻塞队列在数据结构中所起的作用大致如下图所示： 线程1往阻塞队列中添加元素，而线程2从阻塞队列中移除元素 当蛋糕店的柜子空的时候，无法从柜 ...
分类：
其他好文 时间：
2020-05-01 00:46:29
阅读次数：
46
DStream接收socket数据统计 安装并启动生产者 #在linux系统上安装nc工具，利用它向某个端口发送数据 yum -y install nc #执行发送数据命令 nc -lk port 执行streaming依赖 <dependency> <groupId>org.apache.spar ...
分类：
其他好文 时间：
2020-04-30 19:37:50
阅读次数：
83
