本教程演示了如何使用 Druid 的 Kafka indexing 服务从 Kafka 流中加载数据至 Druid。
分类:
其他好文 时间:
2020-06-05 00:53:38
阅读次数:
87
今天给大家分享一个大数据里面很火的技术——Kafka,Kafka是一个分布式的消息系统,其高性能在圈内很出名。本人阅读过多个大数据生态的开源技术的源码,个人感觉Kafka的源码质量是比较高的一个,如果有同学感兴趣的话,可以拿来阅读一下。网上也有不少的文章分析Kafka的性能为什么那么好,但是我感觉很多文章都没说到点上,所以今天借着这个机会跟大家交流一下kafka的性能为什么那么好?优秀设计之基于N
分类:
其他好文 时间:
2020-06-04 21:57:26
阅读次数:
100
一、Spring Boot 日志配置 采用 Spring Boot 默认的 Logback: <?xml version="1.0" encoding="UTF-8"?> <configuration scan="true" scanPeriod="10 seconds"> <contextName ...
分类:
编程语言 时间:
2020-06-04 21:47:36
阅读次数:
83
读者要求:对filebeat的使用有一定了解 目录: 原理了解 定位:Filebeat是一个采集工具 支持的input范围 运行原理图 整体过程 at least once 异常情况 reload 安装和结构 一、原理了解 定位:FileBeat是一个采集工具 Filebeat源码归属于beats项 ...
分类:
其他好文 时间:
2020-06-04 21:25:26
阅读次数:
231
kafka的高可用 一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同 ...
分类:
其他好文 时间:
2020-06-04 20:10:00
阅读次数:
56
一、kafka 介绍 1.1、kafka 介绍 Kafka 是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有的还把它当做存储系统来使用。 早期 Kafka 的定位是一个高吞吐的分布式消息系统,目前则演变成了一个成熟的分布式消息引擎,以及流处理平台。 Kafka 主要起到削峰 ...
分类:
其他好文 时间:
2020-06-04 19:38:12
阅读次数:
162
Kafka是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉Kafka的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。Kafka的核心源码分为两部分:客户端源码和服务端源码,客户端又分为生产者和消费者,而个人认为Kafka的源码里面生产者的源码技术含量最高,所以今天给大家剖析Kafka的生
分类:
其他好文 时间:
2020-06-04 01:31:44
阅读次数:
50
1.常见的我们是进入它的消费者模式 , 在里面输入 , 但是如何封装到shell中 kafka-console-producer.sh --broker-list node1:9092 --topic sky 比如我只想把 hello 这条消息发送到Topic sky里面 echo "hello" ...
分类:
系统相关 时间:
2020-06-03 23:08:22
阅读次数:
153
Kafka 是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉 Kafka 的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。 Kafka 的核心源码分为两部分:客户端源码和服务端源码,客户端 ...
分类:
其他好文 时间:
2020-06-03 17:29:19
阅读次数:
68
刚开始尝试独立安装ELK的每个软件, 发现下载很慢,配置起来挺痛苦, 安装问题多多, 故采用Docker镜像安装法, 省事省心。 1. Docker安装 #添加docker镜像资源 sudo yum-config-manager --add-repo https://mirrors.aliyun.c ...
分类:
其他好文 时间:
2020-06-03 12:00:15
阅读次数:
71