1.kafka是什么？ Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一 ...
分类：
其他好文 时间：
2020-04-07 22:14:54
阅读次数：
93
基础环境准备 安装前的准备工作（zk已经部署完毕） 关闭防火墙 service iptables stop #临时关闭 chkconfig iptables off && setenforce 0 #永久关闭 kafka单机版安装采用自带的zookeeper处理 1.校验一下java是否安装 jav ...
分类：
其他好文 时间：
2020-04-07 22:13:20
阅读次数：
98
**6.启动zookeeper** ```/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties ``` **7.启动kafka** ```/opt/kafka/bin/kafka-server- ...
分类：
其他好文 时间：
2020-04-07 09:45:34
阅读次数：
250
问题描述 2018年xx月xx日 下午4点20分左右 xxx无意中看到xxx正在排查线上Kafka集群遇到的问题，随后问明情况，有一台机器上Kafka进程挂了，当时他正在lark平台上查看错误日志信息，随后我一起加入排查问题。事故起止时间：2018年xx月xx日 16时30分~2018年9月13日 ...
分类：
系统相关 时间：
2020-04-07 00:13:33
阅读次数：
113
本来想基于docker搭建一套ELK玩一玩日志,奈何难度有点大,没能继续下去,后来转念一想,我是要使用elk来管理日志而已,又不是要做运维,所以直接找一款云上产品直接使用起来就可以了. 这是就上咱阿里云平台上看看啦,想起来他们有个SLS.用法与ELK类似.sls每个月还有500M的免费额度可以使用. ...
分类：
其他好文 时间：
2020-04-06 23:54:16
阅读次数：
367
kafka核心概念与应用场景解析 Kafka的主要特点 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务，它主要用于处理活跃的流式数据。 kafka的主要特点： 同时为发布和订阅提 ...
分类：
其他好文 时间：
2020-04-06 17:42:09
阅读次数：
99
kafka急速入门与核心API kafka急速入门与核心API解析 kafka环境安装 上一节课我们已经对kafka的基本概念、核心思想有了一定的了解和认知，并且掌握了kafka在实际工作中的一些主要的应用场景。那么接下来，我们就一起快速进入kafka的安装吧。 kafka下载地址：http://k ...
Kafka-消费者-偏移量的提交方式 每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录，可以追踪到哪些记录是被群组里的哪个消费者读取的。 更新分区当前位置的操作叫做提交。 消费者往一个叫做 _consumer_offset的特殊主题发送消息，消息里包含每个分区的 ...
分类：
其他好文 时间：
2020-04-06 15:43:22
阅读次数：
74
Kafka-再均衡监听器 在为消费者分配新分区或移除旧分区时，可以通过消费者API执行一些应用程序代码，在调用subscribe()方法时传进去一个ConsumerRebalanceListener实例就可以了。 public void onPartitionsRevoked(Collection< ...
分类：
其他好文 时间：
2020-04-06 15:36:29
阅读次数：
89
前言背景 消息系统经过多年使用和运维管理平台开发迭代，能较好支持支撑业务发展，公司主流语言为java，但缺乏一个基于Kafka二次封装简单好用的java客户端。遇到问题如下所示： 使用好kafka客户端对业务要求高，非专业技术方向很难有精力全面掌握 异常情况会catch不全 客户端生产消息及双活机房 ...
分类：
其他好文 时间：
2020-04-06 15:21:49
阅读次数：
81
