本篇主要介绍如何在CentOS环境下部署Elasticsearch，以及部署过程中遇到的一些问题，仅供参考 CentOS IP:192.168.182.129 部署过程 cd /usr/local/ # 导航到指定目录 mkdir elk # 创建文件夹 cd elk # 导航到刚创建的elk文件夹 ...
分类：
其他好文 时间：
2020-06-17 01:35:22
阅读次数：
172
每一个副本 leader 管理自己的 isr 列表，进行扩缩，并写入 zk 把某些 replica 加入到 isr 中：如果 follower 的 offset 大于等于 leader 的 HW，则把该 replica 加入到 isr 中 // kafka.cluster.Partition#may ...
分类：
其他好文 时间：
2020-06-16 23:41:35
阅读次数：
56
摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位移的那些事，包括： 概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区 ...
分类：
其他好文 时间：
2020-06-16 21:54:32
阅读次数：
65
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
kafka 搭建源码环境 org.scoverage 报错 * Where:Build file '/Users/lidongmeng/source_code_read/kafka-0.10.0.1-src/build.gradle' line: 376 * What went wrong:A pr ...
分类：
其他好文 时间：
2020-06-16 18:44:01
阅读次数：
120
0.kafka和zookeeper一键搭建脚本如下#!/bin/bash#Auth:xusj#Date:2020/6/15#3个节点集群使用，分别在节点123执行该脚本即可。curDir=`pwd`localIp=$(ifconfig|grepinet|grepnetmask|grepbroadcast|awk‘{print$2}‘|sed-n‘1p‘)zkPid=$(psaux|grepzook
分类：
其他好文 时间：
2020-06-16 16:50:25
阅读次数：
65
Filebeat Filebeat 是用于转发和集中日志数据的轻量级传输程序。Filebeat 可以监听指定的日志文件或位置，从中收集日志事件并将其转发到 Elasticsearch 或 Logstash 进行索引。Filebeat 的工作原理如下： Filebeat 启动一个或多个 Input，I ...
分类：
其他好文 时间：
2020-06-16 13:00:07
阅读次数：
55
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等Kafka是一个高性能的消息队列，在众多消息队列产品中，Kafka的性能绝对是处于第一梯队的。我曾经在一台配置比较好的服务器上，对Kafka做过极限的性能压测，Kafka单个节点的极限处理能力接近每秒钟2000万条消息，吞吐量达到每秒钟600MB。你可能会问，Kafka是如何做到这么高的性能的？之前就曾探讨过：怎么开发一个高性
分类：
其他好文 时间：
2020-06-16 01:08:56
阅读次数：
159
1.基于Receiver的方式 这种方式使用Receiver来接收kafka中的数据，Receiver是基于kafka的高层Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处 ...
分类：
其他好文 时间：
2020-06-15 22:58:10
阅读次数：
60
定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。 消息队列 Kafka 本质上是一个 MQ（Message Queue），使用消息队列的好处？（面试会问） 解耦：允许我们独立的扩展或修改队列两边的处理过程。 可恢复性：即使一个 ...
分类：
其他好文 时间：
2020-06-15 16:11:29
阅读次数：
53
