1.文件目录布局 Kafka消息以日志文件的形式存储，不同主题下不同分区的消息分开存储，同一个分区的不同副本分布在不同的broker上存储 逻辑上看来日志是以副本为单位的，每个副本对应一个log对象，实际在物理上，一个log划分为多个logSegment 创建一个topic为3个分区，会在log.d ...
分类：
其他好文 时间：
2020-08-05 00:12:43
阅读次数：
100
package test import org.apache.spark.sql.{DataFrame, ForeachWriter, Row, SparkSession} import org.apache.spark.sql.streaming.{ProcessingTime, Trigger} ...
分类：
数据库 时间：
2020-06-24 16:23:50
阅读次数：
132
$ cat -n config/server.properties broker.id=0 // broker ID, 集群模式下该ID必须唯一，且永恒不变 listeners=PLAINTEXT://your_host_name:9092 // 配置你的应用所在IP地址，我理解为访问白名单配置 z ...
分类：
其他好文 时间：
2020-06-21 19:35:58
阅读次数：
133
我们先回想一下Kafka的日志结构是怎样的？ Kafka 日志对象由多个日志段对象组成，而每个日志段对象会在磁盘上创建一组文件，包括消息日志文件（.log）、位移索引文件（.index）、时间戳索引文件（.timeindex）以及已中止（Aborted）事务的索引文件（.txnindex）。当然，如 ...
分类：
其他好文 时间：
2020-06-08 00:17:30
阅读次数：
63
一、下载kafka_2.12-2.4.0.tgz并解压至/home/kafka_2.12-2.4.0 二、配置kafka 2.1 创建kafka日志文件夹：/home/kafka_2.12-2.4.0/logs 2.2 创建zookeeper数据目录：/tmp/zookeeper 2.3 配置/ho ...
分类：
编程语言 时间：
2020-02-19 15:05:55
阅读次数：
85
0:关闭Kafka 1：登录zookeeper客户端 [root@xsyf zookeeper01]# ./bin/zkCli.sh （1）查看topic信息 ls /brokers/topics （2）删除所有topic deleteall /brokers/topics 2：删除kafka日志文 ...
分类：
其他好文 时间：
2020-01-12 15:20:11
阅读次数：
74
性能优化分析Spring Cloud ELK+kafka日志分析平台 ...
分类：
编程语言 时间：
2019-10-28 22:32:53
阅读次数：
252
原文:.NET下日志系统的搭建——log4net+kafka+elk .NET下日志系统的搭建——log4net+kafka+elk# 前言# 我们公司的程序日志之前都是采用log4net记录文件日志的方式(有关log4net的简单使用可以看我另一篇博客)，但是随着后来我们团队越来越大，项目也越来越 ...
分类：
Web程序 时间：
2019-07-24 09:38:12
阅读次数：
147
很多同学私信问我Kafka在性能优化方面做了哪些举措，对于相关问题的答案其实我早就写过了，就是没有系统的整理一篇，最近思考着花点时间来整理一下，下次再有同学问我相关的问题我就可以潇洒的甩个链接了。这个问题也是Kafka面试的时候的常见问题，面试官问你这个问题也不算刁难你。在网上也有很多相关的文章开讲 ...
分类：
其他好文 时间：
2019-07-03 10:39:42
阅读次数：
144
