本文源码：GitHub·点这里||GitEE·点这里一、Kafka集群环境1、环境版本版本：kafka2.11，zookeeper3.4注意：这里zookeeper3.4也是基于集群模式部署。2、解压重命名tar-zxvfkafka_2.11-0.11.0.0.tgzmvkafka_2.11-0.11.0.0kafka2.11创建日志目录[root@en-masterkafka2.11]#mkdi
分类：
其他好文 时间：
2020-06-11 12:06:13
阅读次数：
51
Kafka多维度系统精讲，从入门到熟练掌握Kafka几乎是当今时代背景下数据管道的首选，无论你是做后端开发、还是大数据开发，对它可能都不陌生。可是市面上全面系统讲解Kafka的课程有多少呢？寥寥无几。本课从搭建开始，带你平滑上手。全面剖析Kafka，解读和使用核心API，并将底层实现和设计原理融合贯穿。同时注重结合案例，把原理落地。更有凝结老师心血的Kafka最佳配置方式推荐，以及面试常问知识点梳
分类：
其他好文 时间：
2020-06-10 14:45:08
阅读次数：
82
Kafka多维度系统精讲，从入门到熟练掌握Kafka几乎是当今时代背景下数据管道的首选，无论你是做后端开发、还是大数据开发，对它可能都不陌生。可是市面上全面系统讲解Kafka的课程有多少呢？寥寥无几。本课从搭建开始，带你平滑上手。全面剖析Kafka，解读和使用核心API，并将底层实现和设计原理融合贯穿。同时注重结合案例，把原理落地。更有凝结老师心血的Kafka最佳配置方式推荐，以及面试常问知识点梳
分类：
其他好文 时间：
2020-06-10 11:12:18
阅读次数：
50
1. API基本概念 Flink程序可以对分布式集合进行转换（例如： filtering, mapping, updating state, joining, grouping, defining windows, aggregating） 集合最初是从源创建的（例如，从文件、kafka主题或本地内 ...
/** * 模拟数据 数据格式如下： * * 日期 卡口ID 摄像头编号 车牌号 拍摄时间 车速 道路ID 区域ID * date monitor_id camera_id car action_time speed road_id area_id * * monitor_flow_action * ...
分类：
其他好文 时间：
2020-06-09 20:34:37
阅读次数：
71
众所周知，消息队列是应用系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有 ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ. 但是如果你不想为你的系统引入一个重量级(相对 r ...
分类：
编程语言 时间：
2020-06-09 14:46:58
阅读次数：
86
kafka特点： 1.高吞吐量，支持高并发。支持消息分区，和分布式系统。同时保证每个partition内的消息顺序传输。提供消息持久化能力。 2.Kafka就是一种发布-订阅模式。 消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，数据被消费 ...
分类：
其他好文 时间：
2020-06-09 12:32:50
阅读次数：
64
kafka启动（需要先启动zk）： bin/zookeeper-server-start.sh -daemon config/zookeeper.properties bin/kafka-server-start.sh -daemon config/server.properties kafka停止 ...
分类：
其他好文 时间：
2020-06-08 12:58:18
阅读次数：
252
1、安装zookeeper 因为zookeeper 与kafka 存在对应的版本，选择不当，将无法使用，所以两者都使用最新版本 下载地址：https://zookeeper.apache.org/releases.html 目录 下载并解压ZooKeeper软件压缩包后，可以看到zk包含以下的文件和 ...
分类：
系统相关 时间：
2020-06-08 12:37:32
阅读次数：
82
我们先回想一下Kafka的日志结构是怎样的？ Kafka 日志对象由多个日志段对象组成，而每个日志段对象会在磁盘上创建一组文件，包括消息日志文件（.log）、位移索引文件（.index）、时间戳索引文件（.timeindex）以及已中止（Aborted）事务的索引文件（.txnindex）。当然，如 ...
分类：
其他好文 时间：
2020-06-08 00:17:30
阅读次数：
63
