1.创建一个topic （它有一个分区和副本） bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 2.查看已有的top ...
Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据 Flume架构和核心组件 Source 收集 Channel 处理 Sink 输出 1.安装java1.8版本 https://www.cnblogs.com/yoyo1216/p/12668926.html 2.创建 ...
分类：
Web程序 时间：
2020-07-18 22:50:30
阅读次数：
97
实例1: 监听端口,把输入端口的信息以日志的形式输出到控制台中 cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf vim example.conf # 命名此代理上的组件 agent.sources = seqGenSrc # sour ...
分类：
Web程序 时间：
2020-07-18 22:49:42
阅读次数：
97
一、下载及安装配置 JDK (Kafka依赖于Zookeeper服务，而Zookeeper的运营依赖JDK) 1.地址：https://www.oracle.com/java/technologies/javase-jdk14-downloads.html 下载windows可执行文件，直接点击安装 ...
仅罗列了一些常用基础配置，更多配置请到官网查看 https://www.elastic.co/guide/en/logstash/current logstash.yml配置文件 # Node identity #节点名称，默认主机名 node.name: test # Data path #数据存 ...
分类：
其他好文 时间：
2020-07-18 22:04:24
阅读次数：
88
前提：需要提前下载JDK 1.下载地址：https://kafka.apache.org/ 2.需要先启动ZooKeeper服务器(可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。) 命令： bin\windows\zookeeper-server-star ...
# Name the components on this agenta1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2 #将数据流复制给所有channel#下边这句是默认的，不配置也可以#a1.sources.r1.selector.type = ...
分类：
Web程序 时间：
2020-07-18 19:54:00
阅读次数：
103
当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用 重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是 ...
分类：
其他好文 时间：
2020-07-18 00:48:57
阅读次数：
97
Kafka-可靠性保证-保证了哪些可靠性 ACID是关系型数据库普遍支持的标准可靠性保证。 ACID：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability) 如果数据库遵循ACID规范，那么该数据库就支持与事务相关的行为。 kaf ...
分类：
其他好文 时间：
2020-07-16 00:19:13
阅读次数：
71
这篇文章主要用来介绍Kafka & Zookeeper相关基础知识。 1. Kafka是由Linkedin开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，之后于2 ...
分类：
编程语言 时间：
2020-07-15 23:49:56
阅读次数：
93
