Morgan Stanley uses Apache Kafka® to publish market data to internal clients and to persist it for replay purposes. We started out using librdkafka’s ...
分类:
编程语言 时间:
2021-05-24 10:27:55
阅读次数:
0
前言 本地Docker部署Pulsar消息代理实现消息发布和消息订阅 介绍 相关概念,后面有时间再花时间整理下。 实践步骤 1.使用dokcer本地部署pulsar docker run -it \ -p 6650:6650 \ -p 8080:8080 \ --mount source=pulsa ...
分类:
其他好文 时间:
2021-05-24 09:51:07
阅读次数:
0
项目预计第一阶段花费十天的时间,第二阶段粗略估计要花一个月,因为第二阶段所需要的技术,像 Hadoop,kafka之类的之前并没有接触过,而第一阶段的工作,css、JavaScript、HTML,echarts等 在之前的学习中已有涉猎。目前已经花费十天,还剩余一个月 产品状态:目前已实现获取当前热 ...
分类:
其他好文 时间:
2021-05-24 07:14:48
阅读次数:
0
在新版的 Kafka Producer 中,设计了一个消息缓冲池,在创建 Producer 时会默认创建一个大小为 32M 的缓冲池,也可以通过 buffer.memory 参数指定缓冲池的大小,同时缓冲池被切分成多个内存块,内存块的大小就是我们创建 Producer 时传的 batch.size ...
分类:
其他好文 时间:
2021-05-24 05:22:26
阅读次数:
0
本文从高可用的角度观察一下 RabbitMQ、Kafka、RocketMQ,看看它们各自的实现思路。 1. RabbitMQ RabbitMQ 有 3 种部署模式: 单机模式 普通集群模式 镜像集群模式 单机模式与高可用完全没关系,咱就不说了,直接看看这2种集群模式。 1.1 普通集群模式 某一个 ...
分类:
其他好文 时间:
2021-05-24 04:17:36
阅读次数:
0
大家好,这是一个为了梦想而保持学习的博客。这个专题会记录我对于KAFKA的学习和实战经验,希望对大家有所帮助,目录形式依旧为问答的方式,相当于是模拟面试。 一、写在前面 本来是打算写到消费者模块的时候再详细看一下和写一下rebalance过程,但是前阵子遇到的rebalance的问题比较多,发现自己 ...
分类:
其他好文 时间:
2021-05-24 00:09:26
阅读次数:
0
一、kafka Kafka是一个分布式的消息系统。 二、解决问题 消息系统通常被应用于异步处理、应用解耦、流量削峰、消息通信等场景。 异步处理 image-20210315230129937 生产者将消息写入消息队列中,消费者异步拉取消息队列消息,从而提升消息处理能力。 应用解耦 image-202 ...
分类:
其他好文 时间:
2021-05-23 23:45:42
阅读次数:
0
多进程 1 #方式一: 2 # from multiprocessing import Process 3 # import time 4 # 5 # def task(name): 6 # print('%s is running' %name) 7 # time.sleep(3) 8 # pri ...
分类:
编程语言 时间:
2021-05-04 15:51:14
阅读次数:
0
Mysql配置读写数据库 ERROR 1227 (42000): Access denied; you need (at least one of) the SUPER privilege(s) for this operation 原因之前mysql的vi /etc/my.cnf 修改配置没有重启 ...
分类:
其他好文 时间:
2021-04-30 12:42:22
阅读次数:
0