现状 Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka的特性之一就是高吞吐率。 即使是普通的服务器,Kafka也可以轻松支持每秒百万级的写入请求,超过了大部分的消息中间件,这种特性也使得Kafka在日志处理等海量数据场景广 ...
分类:
其他好文 时间:
2020-04-17 20:02:10
阅读次数:
58
使用场景 大数据:数据量和速率激增,数据类型越来越复杂 应用开发:消息引擎,应用解耦,分布式存储,流处理 Kafka的体系结构 topic : 主题(消息的逻辑分类) 客户端: 细分为生产者(朝主题发送消息), 消费者(读取主题的消息); 服务端: broker (1 处理客户端发送和提供消费支持 ...
分类:
其他好文 时间:
2020-04-17 11:08:28
阅读次数:
73
一、概述1.1、简介Kafka最初是由LinkedIn公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统。ApacheKafka也是一个开源消息系统,由Scala写成;Kafka是一个分布式消息队列。Kafka对消息保存是根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每
分类:
其他好文 时间:
2020-04-17 09:28:47
阅读次数:
71
ssl分步骤1、访问es集群设置 2、kibana访问es集群设置3、es集群内部各节点设置4、logstash访问es设置5、filebeat访问logstash设置 ...
分类:
其他好文 时间:
2020-04-16 19:25:08
阅读次数:
166
前言本文收集整理了各大厂常见面试题N道,你想要的这里都有内容涵盖:Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka、Linux等技术栈,希望大家都能找到适合自己的公司,开开心心的撸代码。目录由于题量较多,篇幅的限制,文章中的面试题
分类:
编程语言 时间:
2020-04-16 18:10:05
阅读次数:
104
docker zookeeper install docker Kafka install check kafka status docker zipkin web ui install access zipkin web ...
分类:
其他好文 时间:
2020-04-16 13:37:42
阅读次数:
163
一、ELK是什么 “ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如 Elast ...
分类:
编程语言 时间:
2020-04-15 23:00:04
阅读次数:
79
Kafka基本命令 #启动server ./bin/kafka-server-start.sh config/server.properties #创建topic(主题)test ./bin/kafka-topics.sh --create --zookeeper localhost:2181 -- ...
分类:
其他好文 时间:
2020-04-15 21:33:48
阅读次数:
91
晚上刚刚被媳妇骂,难过之余,还是要坚持继续写一篇kafka源码走读的博客,心情难过,原谅我开头发下牢骚。。。 源码版本依然是0.10.2.1,我们都知道,kafka在0.8版本前没有提供Partition的Replication机制,一旦Broker宕机,其上的所有Partition就都无法提供服务 ...
分类:
其他好文 时间:
2020-04-15 18:35:16
阅读次数:
81
EFK不是一个软件,而是一套解决方案。EFK是三个开源软件的缩写,Elasticsearch,FileBeat,Kibana。其中ELasticsearch负责日志分析和存储,FileBeat负责日志收集,Kibana负责界面展示。它们之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志分析系统解决方案。EFK和ELK只有一个区别,收集日志的组件由Logstash替换成了F
分类:
其他好文 时间:
2020-04-15 18:09:06
阅读次数:
87