Kafka是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉Kafka的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。Kafka的核心源码分为两部分:客户端源码和服务端源码,客户端又分为生产者和消费者,而个人认为Kafka的源码里面生产者的源码技术含量最高,所以今天给大家剖析Kafka的生
分类:
其他好文 时间:
2020-06-04 01:31:44
阅读次数:
50
Kafka 是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉 Kafka 的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。 Kafka 的核心源码分为两部分:客户端源码和服务端源码,客户端 ...
分类:
其他好文 时间:
2020-06-03 17:29:19
阅读次数:
68
1、什么是zookeeper? 1、zookeeper是一个分布式协调技术,是分布式数据一致性解决方案的典型代表,力求做到强一致性但最终实现的是最终一致性,采用CAP理论的AP,用来构建高可用分布式主备系统 2、zookeeper能干什么? 1、数据发布/订阅 2、命名服务 3、集群管理 4、Mas ...
分类:
其他好文 时间:
2020-06-03 13:54:41
阅读次数:
88
redis除了5种数据类型之外,还提供了其他功能,如:慢查询,pipeline,事务,发布订阅和消息队列,Bitmap,HyperLogLog,GEO ###1.Bitmap(位图) BitMap,即位图,其实也就是 byte 数组,用二进制表示,只有 0 和 1 两个数字。 就是通过一个bit位来 ...
分类:
其他好文 时间:
2020-05-31 22:02:10
阅读次数:
63
webpack tapable webpack本质上是一种事件流的机制,它的工作流程就是将各个插件串联起来,而实现这一切的核心就是tapable,核心原理是依赖于发布订阅模式; tapable注册函数的方法有三种:tap、tapAsync、tapPromise 相对应的执行方法也有三种:call、c ...
分类:
Web程序 时间:
2020-05-31 20:03:12
阅读次数:
74
引言 Kafka是一款很棒的消息系统,今天我们就来深入了解一下它的实现细节,首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer,需要有brokerIP、序列化器等必要Properties以及acks(0、1、n)、compression、retries、ba ...
分类:
其他好文 时间:
2020-05-30 20:02:40
阅读次数:
60
zookeeper概述: zookeeper是一个开源的分布式协调服务,提供分布式数据一致性解决方案,分布式应用程序可以实现数据发布订阅、负载均衡、命名服务、集群管理分布式锁、分布式队列等功能。 数据一致性分为强一致性和最终一致性,强一致性指的如果数据不一致,就不对外提供数据服务,保证用户读取的数据 ...
分类:
其他好文 时间:
2020-05-27 15:58:41
阅读次数:
100
模式的定义与特点 观察者(Observer)模式的定义:指多个对象间存在一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式、模型-视图模式,它是对象行为型模式。优点: 降低了目标与观察者之间的耦合关系,两者之间是抽象耦合关系。 目 ...
分类:
其他好文 时间:
2020-05-27 15:06:23
阅读次数:
124
一、简介 Redis 发布订阅(pub/sub)是一种 消息通信模式 :发送者(pub)发送消息,订阅者(sub)接收消息。(比如:微信、 微博、关注系统!) Redis 客户端可以订阅任意数量的频道。 订阅/发布消息图: 第一个:消息发送者, 第二个:频道 第三个:消息订阅者! 下图展示了频道 c ...
分类:
其他好文 时间:
2020-05-27 01:12:50
阅读次数:
66
AMQP相关概念, 工作模式, 发布/订阅模式, Routing路由模式, Topic通配符模式 ...
分类:
其他好文 时间:
2020-05-26 22:14:59
阅读次数:
64