码迷,mamicode.com
首页 >  
搜索关键字:flume kafka topic覆盖    ( 5097个结果
阿里云MSE 2.0重磅发布,乘风破浪加速企业微服务化进程
近日,阿里云微服务引擎MSE重磅发布2.0版本,在原有注册中心托管的基础上,上线配置中心托管功能,同时实现了0代码改动,就能接入微服务治理能力,并兼容Spring Cloud 和Dubbo 近5年的所有开源版本,提升管理效率,降低运维难度。
分类:系统相关   时间:2020-07-09 09:29:45    阅读次数:104
新手也能看懂,消息队列其实很简单(附思维导图)
前言 RabbitMQ?”“Kafka?”“RocketMQ?”...在日常学习与开发过程中,我们常常听到消息队列这个关键词。我也在我的多篇文章中提到了这个概念。可能你是熟练使用消息队列的老手,又或者你是不懂消息队列的新手,不论你了不了解消息队列,本文都将带你搞懂消息队列的一些基本理论。如果你是老手 ...
分类:其他好文   时间:2020-07-09 00:56:32    阅读次数:124
kafka的认识、安装与配置
认识Kafka 花费越少的精力在数据移动上,就能越专注于核心业务 《Kafka:The Definitive Guide》 认识 Kafka 之前,先了解一下发布与订阅消息系统:消息的发送者不会直接把消息发送给接收者、发送者以某种方式对消息进行分类,接收者订阅它们,以便能接受特定类型的消息。发布与订 ...
分类:其他好文   时间:2020-07-08 23:21:58    阅读次数:80
Kafka消费者Demo
Kafka消费者Demo 依赖包: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.0.0</version> </dependency> 源码: p ...
分类:其他好文   时间:2020-07-08 18:11:21    阅读次数:45
flume 数据链路问题排查
技巧 1、查看flume的metrics,确定每个flume节点数据是否被接收以及发送: {"SOURCE.src-1":{"OpenConnectionCount":"0", //目前与客户端或sink保持连接的总数量(目前只有avro source展现该度量)"Type":"SOURCE","A ...
分类:Web程序   时间:2020-07-08 15:23:06    阅读次数:101
大数据面试题
Linux部分 ①列举你使用的常用指令? ②怎么查看服务是否开启?后面的参数都是什么意思? ③怎么查看服务器内存使用情况? ④日志查看指令? ⑤跨机房怎么传输文件? Hadoop部分 ①怎么搭建一个Hadoop集群? ②Hadoop的Shuffer机制? ③切片概念?文件256M时,几个切片? ④M ...
分类:其他好文   时间:2020-07-08 13:03:03    阅读次数:59
Flume对接Kafka
一.简单实现 需求:根据 flume 监控 exec 文件的追加数据,写入 kafka 的 test-demo 分区,然后启用 kafka-consumer 消费 test-demo 分区数据。 需求分析 1)flume的配置文件 在hadoop102上创建flume的配置文件 # define a ...
分类:Web程序   时间:2020-07-07 23:22:58    阅读次数:79
kafka、zookeeper相关命令
查看防火墙状态 firewall-cmd --state 开放端口 firewall-cmd --zone=public --add-port=2181/tcp --permanent firewall-cmd --zone=public --add-port=9092/tcp --permanen ...
分类:其他好文   时间:2020-07-07 17:40:16    阅读次数:62
【Kafka】Kafka工作原理
为什么需要消息队列 周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…… 第二天正常上着班,突然接到 ...
分类:其他好文   时间:2020-07-07 16:05:41    阅读次数:53
python生产消费Kafka
python生产消费Kafka主要是跟KafkaConsumer和KafkaProducer两个类打交道. from kafka import KafkaProducer, KafkaConsumer class PythonKafka(object): def __init__(self, top ...
分类:编程语言   时间:2020-07-07 15:01:26    阅读次数:76
5097条   上一页 1 ... 26 27 28 29 30 ... 510 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!