kafka启动（需要先启动zk）： bin/zookeeper-server-start.sh -daemon config/zookeeper.properties bin/kafka-server-start.sh -daemon config/server.properties kafka停止 ...
分类：
其他好文 时间：
2020-06-08 12:58:18
阅读次数：
252
1、安装zookeeper 因为zookeeper 与kafka 存在对应的版本，选择不当，将无法使用，所以两者都使用最新版本 下载地址：https://zookeeper.apache.org/releases.html 目录 下载并解压ZooKeeper软件压缩包后，可以看到zk包含以下的文件和 ...
分类：
系统相关 时间：
2020-06-08 12:37:32
阅读次数：
82
我们先回想一下Kafka的日志结构是怎样的？ Kafka 日志对象由多个日志段对象组成，而每个日志段对象会在磁盘上创建一组文件，包括消息日志文件（.log）、位移索引文件（.index）、时间戳索引文件（.timeindex）以及已中止（Aborted）事务的索引文件（.txnindex）。当然，如 ...
分类：
其他好文 时间：
2020-06-08 00:17:30
阅读次数：
63
前面几章蜻蜓点水的介绍了elasticsearch、apm相关的内容。本片主要介绍怎么使用ELK Stack帮助我们打造一个支撑起日产TB级的日志监控系统 背景 在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志， ...
分类：
其他好文 时间：
2020-06-06 18:13:30
阅读次数：
285
一、启动zookeeperzkServer.sh start 二、kafka操作//进入目录cd /software/kafka_2.11-2.4.1// (启动kafka)kafka-server-start.sh -daemon config/server.properties//创建分区kaf ...
分类：
其他好文 时间：
2020-06-06 11:04:34
阅读次数：
50
kafka的消费者 @ 内容大纲 深入学习kafka数据消费大致流程 创建并使用消费者 kafka消费者常用配置 1.重要概念 消费者和消费组 消费者负责订阅 Kafka 中的主题（Topic），并且从订阅的主题上拉取消息。 与其他一些消息中间件不同的是：在 Kafka 中还有一层消费组（Consu ...
分类：
其他好文 时间：
2020-06-05 21:25:49
阅读次数：
71
命令语法： https://www.elastic.co/guide/en/beats/filebeat/current/command-line-options.html filebeat COMMAND SUBCOMMAND [FLAGS]COMMAND:export,modules,run,s ...
分类：
其他好文 时间：
2020-06-05 13:28:56
阅读次数：
241
小灰工作3年了，一直在一家初创公司做大数据架构师，最近几次大厂的面试经历都百般不顺，小灰心如死灰，想着如果一直跳槽无望，只能跟着时下最火的地摊儿大军一起去出摊儿谋生了。 被问到了为什么要使用 Kafka，有哪种场景下需要使用 JMS，小灰一脸问号。工作几年来，接触了 Kafka，Elasticsea ...
分类：
其他好文 时间：
2020-06-05 13:10:08
阅读次数：
56
在 Elasticsearch、Kibana、Beats 安装 中讲到推荐架构： 本文基于 Logstash + Beats 读取 Spring Boot 日志 将其改为上述架构 如果没有安装 Kafka 需要首先安装：http://kafka.apache.org/quickstart ，如果需要 ...
分类：
其他好文 时间：
2020-06-05 13:04:50
阅读次数：
48
简介 WSO2MI（Micro Integrator）是一个事件驱动的企业服务总线（Enterprise Service Bus），支持消息路由、数据格式转换、通信协议转换，支持连接SAP、KAFKA、FTP、Restful API等。 数据格式，可支持xml、json、csv等等 通信协议，可支持 ...
分类：
其他好文 时间：
2020-06-05 00:55:55
阅读次数：
129
