问题描述 2018年xx月xx日 下午4点20分左右 xxx无意中看到xxx正在排查线上Kafka集群遇到的问题，随后问明情况，有一台机器上Kafka进程挂了，当时他正在lark平台上查看错误日志信息，随后我一起加入排查问题。事故起止时间：2018年xx月xx日 16时30分~2018年9月13日 ...
分类：
系统相关 时间：
2020-04-07 00:13:33
阅读次数：
113
/** *重置kafka消费进度 *参数中需要指定kafka集群中一台broker地址，要重置的topic名称，消费组，以及partition个数 */public static void seekLatest(String broker, String topic, String group, i ...
分类：
其他好文 时间：
2020-04-03 18:28:01
阅读次数：
109
1. 概述 Apache Kafka 是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。其具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 笔者之前在物联网公司工作，其中 Kafka 作为物联网 MQ 选型的事实标准，这里优先给大家搭建 Kafka 集群 ...
分类：
其他好文 时间：
2020-03-04 21:21:23
阅读次数：
69
[TOC] 介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 安装 集群，需要把集群状态保存在 上，所以需要先安装 。 环境准备 主机名 | 系统 | I ...
分类：
其他好文 时间：
2020-03-03 20:52:02
阅读次数：
83
利用 Log Pilot + Kafka+Elasticsearch + Kibana 搭建 kubernetes日志解决方案 1、前提条件 已有kafka、elk、k8s集群，这3套集群搭建网上资料很多，这里不写，IP规划如下所示： kafka集群 10.6.11.22:9092 10.6.11. ...
分类：
Web程序 时间：
2020-02-29 13:03:35
阅读次数：
412
Kafka是由Apache软件基金会开发的一个高吞吐量的分布式发布订阅消息系统，由Scala和Java编写。官网地址：http://kafka.apache.org 0.基本概念 Broker：Kafka集群包含一个或多个服务器，这种服务器被称为broker。 Topic：每条发布到Kafka集群的 ...
分类：
其他好文 时间：
2020-02-10 13:37:49
阅读次数：
83
zookeeper是作为一个数据管道存储kafka消息队列，上一篇已经解决怎样部署一个zookeeper集群，基于zookeeper集群基础上，本篇介绍怎样部署kafka集群。 mv kafka_2.13-2.4.0.tgz /usr/local tar -zxvf kafka_2.11-2.4.0 ...
分类：
其他好文 时间：
2020-01-30 11:20:41
阅读次数：
140
0 安装docker（略） 1. 安装docker-compose 下载安装文件 curl -L https://github.com/docker/compose/releases/download/1.24.0/docker-compose-`uname -s`-`uname -m` -o /u ...
分类：
其他好文 时间：
2020-01-11 18:51:29
阅读次数：
133
1. 首先zookeeper是什么 zookeeper是一个开放源代码的分布式应用程序协调服务，可以把它看成是整个集群的管理者，监视者。 2. zookeeper能做什么 它可以实现诸如分布式应用配置管理、统一命名服务、状态同步服务、集群管理等功能。 3. zookeeper服务与kafka集群的联 ...
分类：
其他好文 时间：
2020-01-11 16:56:06
阅读次数：
322
1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1）编辑/etc/hosts ,所有集群主机可以相互 ping 通（在nn01上面配置，同步到node1，node2，node3）nn01 hadoop]# v ...
分类：
其他好文 时间：
2020-01-10 20:16:32
阅读次数：
93
