应用场景由于朋友所在公司对安全性要求较高，zabbix所在的网络环境不能上外网，因此不能通过zabbix将告警直接发送至一些即时通讯工具，这就需要将报警消息发送至一些中间件，并通过中间件转发出去，这里选择使用了kafka，当然kafka中不只有报警信息，也有其他需要发送的数据，这里就不过多透漏基础环境配置kafka集群已部署好，这里不介绍安装细节vim/etc/hosts192.168.179.1
分类：
其他好文 时间：
2020-05-26 10:32:24
阅读次数：
118
Kafka快速入门（六）——Kafka集群部署一、Kafka集群部署方案规划1、操作系统选择通常，生产环境应该将Kafka集群部署在Linux操作系统上，原因如下：（1）Kafka客户端底层使用了Java的selector，selector在Linux上的实现机制是epoll，而在Windows平台上的实现机制是select，因此Kafka部署在Linux上能够获得更高效的I/O性能。（2）网络传
分类：
其他好文 时间：
2020-05-26 10:30:54
阅读次数：
69
连接kafka时，经常遇到配置kafka连接信息连接失败，程序后台一直打印连接失败信息，或者由于连接不上kafka程序启动直接失败情况，考虑一种方案如下： 从从zookeeper中读取kafka集群信息，如果kafka集群信息中有配置的kafka连接信息，则说明kafka正常启动，已注册到zooke ...
分类：
其他好文 时间：
2020-05-11 15:46:53
阅读次数：
49
该压缩包内包含以下文件： 1.install_java.txt 配置java环境，logstash使用 2.es.txt 三节点的es集群 3.filebeat.txt 获取日志输出到kafka集群 4.install_zookeeper_cluster.txt zk集群 5.install_kaf ...
分类：
其他好文 时间：
2020-05-08 18:07:38
阅读次数：
99
下半部分主要是 Topic 级别参数、JVM 参数以及操作系统参数的设置 正确设置这些参数是搭建高性能 Kafka 集群的关键因素 Topic 级别参数 如果同时设置了 Topic 级别参数和全局 Broker 参数 答案就是 Topic 级别参数会覆盖全局 Broker 参数的值，而每个 Topi ...
分类：
其他好文 时间：
2020-05-03 14:18:46
阅读次数：
61
kafka集群管理工具kafka manager部署安装 kafka manager 是雅虎开源的apache kafka管理工具，是用Scala写，所以在web页面进行操作即可。 github地址:https://github.com/yahoo/CMAK 安装步骤 下载并编译源码 注意：编译需要 ...
分类：
其他好文 时间：
2020-04-27 17:55:05
阅读次数：
127
一、Kafka介绍 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等 ...
分类：
系统相关 时间：
2020-04-23 12:02:24
阅读次数：
86
一、概述1.1、简介Kafka最初是由LinkedIn公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统。ApacheKafka也是一个开源消息系统，由Scala写成；Kafka是一个分布式消息队列。Kafka对消息保存是根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每
分类：
其他好文 时间：
2020-04-17 09:28:47
阅读次数：
71
maxwell通过实时收集mysql的binlog变化，可以作为数据同步工具。但有时，应用部署在异地环境，mysql数据库的变化通过maxwell无法直接发送到数据中心进行解析和数据同步，本次使用ngix方式作为代理服务器，收集maxwell发送的json数据后，发送到后端的kafka集群。架构如下：1，多个应用平台分布在不同地域内，远端mysql数据库，可以访问互联网。2，在本地数据中心，使用n
分类：
其他好文 时间：
2020-04-10 10:39:10
阅读次数：
93
Docker 安装基于docker环境搭建kafka集群（单机版)基于 Docker 安装 zabbixweblogic 详解归类 : 目录 ...
分类：
其他好文 时间：
2020-04-08 18:54:17
阅读次数：
62
