码迷,mamicode.com
首页 >  
搜索关键字:storm kafka    ( 5781个结果
初识Kafka
Kafka最早是由LinkedIn公司开发的,作为其自身业务消息处理的基础,后LinkedIn公司将Kafka捐赠给Apache,现在已经成为Apache的一个顶级项目了,Kafka作为一个高吞吐的分布式的消息系统,目前已经被很多公司应用在实际的业务中了,并且与许多数据处理框架相结合,比如Hadoo ...
分类:其他好文   时间:2021-07-26 16:51:13    阅读次数:0
【原创】大叔问题定位分享(40)kafka reassign卡住
kafka reassign过程详见:reassign过程 最近kafka集群发生reassign过程卡住的情况,问题发生过程如下 问题日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController: [Controller id=3 ...
分类:其他好文   时间:2021-07-19 16:41:55    阅读次数:0
数据积压
数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作(full GC--stop the world),就会造成消息在partition中一直存在得不到消费,就会产生数据积压。 所以需要监控系统(kafka的监控系统Eagle),如果出现这种情况,需要尽快处理,虽然后续的spark strea ...
分类:其他好文   时间:2021-07-13 17:40:18    阅读次数:0
同程旅行基于 RocketMQ 高可用架构实践
?简介: 我们在几年前决定引入 MQ 时,市场上已经有不少成熟的解决方案,比如 RabbitMQ , ActiveMQ,NSQ,Kafka 等。考虑到稳定性、维护成本、公司技术栈等因素,我们选择了 RocketMQ。 ? 背景介绍 ? 为何选择 RocketMQ ? 我们在几年前决定引入 MQ 时, ...
分类:其他好文   时间:2021-07-02 16:09:00    阅读次数:0
Webstorm关闭自动更新
File—Setting—Appearance&Beha—System Setting—Updates 取消勾选Automatically check updates 复选框 ...
分类:Web程序   时间:2021-07-02 15:25:29    阅读次数:0
Kafka入门(一)-基础概念
https://kafka.apachecn.org/intro.html 一、kafka能做什么? 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。 (相当于message queue) 构建实时流式应用程序,对这些流数据进行转换或者影响。 (就是流处理,通过kafka stream t ...
分类:其他好文   时间:2021-07-01 17:05:23    阅读次数:0
kafka与celery的区别
kafka它们属于消息队列;celery它们属于任务队列。 消息队列和任务队列,最大的不同之处就在于理念的不同 -- 消息队列传递的是“消息”,任务队列传递的是“任务”。 我们可以放到具体的应用场景上: 消息队列用来快速消费队列中的消息。比如日志处理场景,我们需要把不同服务器上的日志合并到一起,这时 ...
分类:其他好文   时间:2021-06-30 18:33:26    阅读次数:0
python-- kafka(一): kafka 安装和查询
kafka 应用数据读取理论生产者和消费者 生产者:生产数据 消费者:消费生产者产生的数据 对应关系:一个任务可以有多个分组,可以对应多个消费者,但消费者数量不能大于生产者分组数量,多余的也是无用的。(多对多的中的一对一关系) 特性:kafka只需写入一次,可以支持任意多的应用读取全部数据,如果应用 ...
分类:编程语言   时间:2021-06-30 17:51:24    阅读次数:0
python --kakfa(三):kafka模块生产和消费数据
文章目录一、kafka是什么?二、使用步骤1. 安装1.引入库2.消费端:读取数据3.发送端:发送数据总结一、kafka是什么?kafka 是一个分布式流式计算平台。而在大部分企业开发人员中,都是把 kafka 当成消息系统使用,即它是一个分布式消息队列,很少会使用 kafka 的流式计算。它有四个 ...
分类:编程语言   时间:2021-06-30 17:50:03    阅读次数:0
kafka梳理
关键点 概念的解析 kafka的架构图 架构深入 kafka的工作流程及文件存储机制 kafka的生产者:a.分区策略 b.数据可靠性保证 c.数据一致性保证 kafka的消费者:a.消费方式 b.分区分配策略 c.offset的维护 zookeeper的作用 Kafka常见面试题:根据问题去了解大 ...
分类:其他好文   时间:2021-06-28 18:56:22    阅读次数:0
5781条   1 2 3 4 ... 579 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!