一,kafka是什么 kafka是一个分布式的发布-订阅消息系统,能够支持海量的数据传递,在高效和实时的消息处理业务系统中,kafka都有广泛应用,kafka将消息持久化到磁盘中,并且创建了备份保存了数据的安全,kafka在保证了较高的处理速度的同时,又能保证数据处理的低延迟和数据的零丢失。 二,特 ...
分类:
其他好文 时间:
2020-07-13 11:53:56
阅读次数:
60
[TOC] 介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 安装 集群,需要把集群状态保存在 上,所以需要先安装 。 环境准备 主机名 | 系统 | I ...
分类:
其他好文 时间:
2020-03-03 20:52:02
阅读次数:
83
安装kafka之前先安装JDK..... 一:安装Zookeeper Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper 1:下载安装文件:https://download.csdn.net/download/weixin_33446857/106 ...
一、本地安装 zookeeper 、kafka 、confluent 二、修改配置文件 zookeeper 中 conf 目录下 zoo.cfg kafka 目录下新建文件: mysql.properties 修改 kafka conf目录下 server.properties 修改 conflue ...
分类:
数据库 时间:
2019-10-26 17:13:16
阅读次数:
412
安装zookeeper kafka运行需要有jdk+zookeeper环境才能够使用,jdk的安装和环境变量的配置就不介绍了,这里需要先安装zookeeper.可以从官网上下载https://www.apache.org/dyn/closer.cgi/zookeeper/ 将下载下来的包解压一下,然 ...
一、kafka搭建建立elk目录:mkdir/usr/loca/elk安装zookeeper:192.168.30.121:192.168.30.122:192.168.30.123:3.kafka安装:a.192.168.30.121b.192.168.30.122:c.192.168.30.123:4.启动:在三台服务器上执行下面命令:
分类:
其他好文 时间:
2017-09-08 18:21:27
阅读次数:
212
【一】资源准备#3台4C*8G,安装Zookeeper、Kafka、Logstash——Broker(input:filebeat;output:Kafka)10.101.2.2310.101.2.2410.101.2.25#2台4C*8G,安装Logstash——Indexer(input:Kafaka;output:Elasticsearch)10.101.2.2610.101.2.27#3台8C*16G,安装Elasticsearch10.101.2.2810..
分类:
其他好文 时间:
2017-05-04 23:11:46
阅读次数:
2545
1、准备工作1.1、机器准备server1:10.40.33.11
server2:10.40.33.12
server3:10.40.33.131.2、端口占用情况zookeeper:2181,3888,4888
kafka:90921.3、软件准备jdk1.7.0_51(最新版本的kafka-0.8.2.1建议使用1.7及以上版本的jdk)
zookeeper3.4.5(及以上版本)
kafka_2.11-0...
分类:
其他好文 时间:
2016-07-19 02:09:08
阅读次数:
292