2.1 下载kafka并安装kafka_2.12-2.3.0.tgz 2.2 配置kafka集群 2.3 拷贝至各节点scp -r ~/kafka_2.12-2.3.0 hadoop02:~/scp -r ~/kafka_2.12-2.3.0 hadoop03:~/2.4 到各节点修改server. ...
分类：
其他好文 时间：
2019-10-02 12:37:33
阅读次数：
111
一、broker参数 broker.id：kafka集群的唯一标识。 log.dirs：kafka存储消息日志的目录，多个用逗号隔开，需要保证指定的目录有充足的磁盘空间。 zookeeper.connect：必须配置，指定kafka集群注册的zookeeper集群的地址。格式是：[主机名]:端口，多 ...
分类：
其他好文 时间：
2019-09-29 12:54:03
阅读次数：
366
原文地址kafka初识1.Kafka使用背景在我们大量使用分布式数据库，分布式计算集群的时候，是否会遇到这样的一些问题我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低这些场景都有一... ...
分类：
其他好文 时间：
2019-09-28 10:36:44
阅读次数：
94
Kafka Eagle 是一款开源的 Kafka 集群监控系统。 一、下载 https://download.kafka-eagle.org/ 二、安装 system-config.properties 原文件 ###################################### # mul ...
分类：
其他好文 时间：
2019-09-14 16:23:33
阅读次数：
141
编写kafka集群启动和停止脚本[hadoop@kafka01-55-11scripts]$catkafka_cluster_stop.sh#!/bin/bash-x#date20190801#autnormajihuiclush-gall"source/etc/profile;jps|grepKafka|awk‘{print$1}‘|xargskill-9"[hadoop@kafka01-55-
分类：
其他好文 时间：
2019-09-12 09:58:44
阅读次数：
85
一、MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另一个数据中心提供副本。 图1. MirrorMaker 对于迁移的topic而言，topic名字一样， partiti ...
分类：
其他好文 时间：
2019-09-11 20:17:55
阅读次数：
115
一直听说过kafka跟rabbitmq，redis相似，但是没试过，今天特意抽了点时间学习下kafka集群搭建，了解下。 1.环境准备 3台虚拟机（1C4G） 192.168.77.31 zk-1 192.168.77.32 zk-2 192.168.77.33 zk-3 通过官网下载好安装包. 安 ...
分类：
其他好文 时间：
2019-09-09 23:00:30
阅读次数：
86
Kafka是一个分布式的Streaming处理平台，Kafka可以用于数据库中数据的导入导出，也可以用于实时流的处理，但是Kafka最核心的功能就是作为分布式的消息中间件。 Kafka集群是由多个Broker Server组成的，消息的发送者称为Producer，消息的消费者称为Consumer，t ...
分类：
其他好文 时间：
2019-09-08 22:43:34
阅读次数：
161
简单记录下kafka集群环境搭建过程， 用来做备忘录 安装 第一步： 点击官网下载地址 http://kafka.apache.org/downloads.html 下载最新安装包 第二步： 解压 第三步： 检查服务器有没有安装zookeeper集群， 没有的话，自行百度补充 第四步：修改confi ...
分类：
编程语言 时间：
2019-09-06 22:34:18
阅读次数：
106
也还是继续昨天的话题说吧。 纯手机手打，感觉有用麻烦点个赞。 开头还是那句话，spark是以批处理起家，发展流处理，所以微批处理吞吐优先，可以选用。 flink以实时处理起家，然后去做批处理，所以更适合实时性高的场景。 那么生产中真的都要求那么高的实时性吗？ 比如10wqps的数据，假如实时处理，采 ...
分类：
其他好文 时间：
2019-09-05 21:45:24
阅读次数：
133
