参考博客:linux下ElasticSearch.6.2.2集群安装与head、Kibana、X-Pack..插件的配置安装 参考博客:ELK5.5.1 插件安装实践纪要(head/bigdesk/kopf/cerebo/中文分词插件) 参考博客:ELK构建MySQL慢日志收集平台详解 参考博客:针 ...
分类:
其他好文 时间:
2021-04-14 12:42:49
阅读次数:
0
解压压缩包 tar -zxf kafka-eagle-bin-1.2.4.tar.gz 设置全局变量,设置JDK的全局变量JAVA_HOME和本应用的KE_HOME export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el ...
分类:
其他好文 时间:
2021-04-14 11:53:23
阅读次数:
0
比如说这个消息队列系统,我们来从以下几个角度来考虑一下 (1)首先这个mq得支持可伸缩性吧,就是需要的时候快速扩容,就可以增加吞吐量和容量,那怎么搞?设计个分布式的系统呗,参照一下kafka的设计理念,broker → topic → partition,每个partition放一个机器,就存一部分 ...
分类:
其他好文 时间:
2021-04-13 12:22:01
阅读次数:
0
Kafka集群搭建 Zookeeper简介 ZooKeeper 是一个开源的分布式框架,提供了协调分布式应用的基本服务。它向外部应用 暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Mainte ...
分类:
其他好文 时间:
2021-04-12 11:49:15
阅读次数:
0
Docker部署kafka集群 利用docker可以很方便的在一台机子上搭建kafka集群并进行测试。为了简化配置流程,采用docker-compose进行进行搭建。 kafka搭建过程如下: 编写docker-compose.yml文件,内容如下: version: '3.3' services: ...
分类:
其他好文 时间:
2021-04-10 12:51:06
阅读次数:
0
一、大数据框架三种语义???? 在分布式系统中,如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中,broker 可能会 crash,在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类:
其他好文 时间:
2021-04-09 13:27:18
阅读次数:
0
zkCli.sh ls / 记住zk的根目录下内容 ls或者get /kafka/cluster/id 查看zk下的kafuka controller ls /kafka/brokers/ kafka目录下 config查看配置:server.properties broker.id=0 liste ...
分类:
其他好文 时间:
2021-04-08 13:49:09
阅读次数:
0
https://www.jianshu.com/p/abbc09ed6703 https://blog.csdn.net/wangshuminjava/article/details/80238161?utm_medium=distribute.pc_relevant.none-task-blog- ...
分类:
其他好文 时间:
2021-04-06 15:02:20
阅读次数:
0
.NET Core + K8S + Loki 玩转日志聚合 1. Intro 最近在了解日志聚合系统,正好前几天看到一篇文章《用了日志系统新贵Loki,ELK突然不香了!》,所以就决定动手体验一下。本文就带大家快速了解下Loki,并简单介绍.NET Core如何集成Loki。 2. What's L ...
分类:
Web程序 时间:
2021-04-06 14:12:52
阅读次数:
0
实时流式计算 Kafka Stream 2.1 概述 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下: Kafka Stream提供了一个非常简单而轻量的L ...
分类:
其他好文 时间:
2021-04-05 12:27:09
阅读次数:
0