该压缩包内包含以下文件： 1.install_java.txt 配置java环境，logstash使用 2.es.txt 三节点的es集群 3.filebeat.txt 获取日志输出到kafka集群 4.install_zookeeper_cluster.txt zk集群 5.install_kaf ...
分类：
其他好文 时间：
2020-05-08 18:07:38
阅读次数：
99
一、环境准备主机名IP运行服务kafka1192.168.171.131kafka+zookeeperkafka2192.168.171.134kafka+zookeeperkafka3192.168.171.135kafka+zookeeper二、部署zookeeper服务源码包（提取码：6q58）1、kafka1配置如下#部署zookeeper[root@kafka1~]#tarzxfzook
分类：
其他好文 时间：
2020-05-08 10:13:27
阅读次数：
75
Kafka基于Zookeeper协调的分布式日志系统，可以当做MQ。主要就是做：日志收集系统、消息系统。还有就是用于用户活动跟踪：记录web用户或者app用户的各种活动，相信大家都感受到了吧。上篇我们已经提到，消息系统的两种传递模式：点对点、订阅/发布。这里将不再赘述。【对比】名称Column2RabbitMQ使用Erlang编写的一个开源的消息队列，适合企业级的开发，同时实现了Broker构架，
分类：
其他好文 时间：
2020-05-08 09:42:36
阅读次数：
66
Docker容器 阿里P8架构师谈：Docker简介、组成架构、使用步骤、以及生态产品 阿里P8架构师谈:Docker容器的原理、特征、基本架构、与应用场景 消息中间件 阿里P8架构师谈：消息中间件介绍、典型使用场景、以及使用原则 阿里P8架构师谈：分布式消息Kafka的原理、基础架构、使用场景 阿 ...
分类：
其他好文 时间：
2020-05-07 15:44:27
阅读次数：
110
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2020-05-07 09:17:48
阅读次数：
76
为什么使用spring stream ? spring stream 是用来做消息队列发送消息使用的。他隔离了各种消息队列的区别，使用统一的编程模型来发送消息。 目前支持： rabbitmq kafka rocketmq 启动rocketmq rocketmq 支持windows start mqn ...
分类：
编程语言 时间：
2020-05-06 18:05:55
阅读次数：
77
ELK架构日志处理逻辑：1、业务层Filebeat安装时会自动获取主机运行站点域名及环境信息新增channel及env标签，并将channel的值作为kafka的topic信息2、Kafka收到Filebeat的新增字段及Topic信息，自动创建Topic信息，以等待logstash消费3、Logstash根据脚本自动生成input及output配置这里的topic一定和filebeat的chan
分类：
其他好文 时间：
2020-05-05 21:56:19
阅读次数：
81
Kafka适合离线和在线的消息消费,其消息保存在磁盘上。 Kafka以Topic为单位进行消息的归纳,Producers向Topic发送(Push)消息,Consumers会消费(Pull)预订了Topic的消息。 基本概念 消息队列中的基本概念尤为重要,当对基本概念有了深入的理解之后,消息队列的原 ...
分类：
其他好文 时间：
2020-05-05 20:05:38
阅读次数：
70
1 package com.bawei.stream 2 3 import org.apache.kafka.clients.consumer.ConsumerRecord 4 import org.apache.kafka.common.serialization.StringDeserializ ...
分类：
其他好文 时间：
2020-05-05 17:51:00
阅读次数：
59
1 package com.bawei.review01 2 3 import java.net.InetSocketAddress 4 5 import org.apache.kafka.clients.consumer.ConsumerRecord 6 import org.apache.kaf ...
分类：
其他好文 时间：
2020-05-05 17:47:17
阅读次数：
55
