准备工作 下载地址-->http://kafka.apache.org/downloads -->总结之3步走 -->0.下载一个比较好入门的文件 不需要配置这配置那, 不需要导出找这找那... 傻瓜式,拿来可以直接运行的那种. -->0.5.预备工作,会在当前当前目录下打开命令行(PowerShe ...
分类：
其他好文 时间：
2021-04-01 13:27:01
阅读次数：
0
采集nginx日志的时候发现从filebeat采集的json日志到elasticsearch里面都是keyword类型，导致我模糊查询部分字段的时候无法模糊匹配，所以需要将某些字段改成text类型。 filebeat.inputs: - type: log enabled: true json.ke ...
分类：
移动开发 时间：
2021-03-30 13:11:53
阅读次数：
0
1.1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue） ， 主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 ? 使用消息队列的好处 1） 解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2） ...
分类：
其他好文 时间：
2021-03-30 13:07:59
阅读次数：
0
2.1 安装部署 2.1.1 集群规划 192.168.1.102 192.168.1.103 192.168.1.104 zookeeper zookeeper zookeeper kafka kafka kafka 2.1.2 jar 包下载 http://kafka.apache.org/do ...
分类：
其他好文 时间：
2021-03-30 13:07:22
阅读次数：
0
2021-03-27 import java.util.ArrayList; import java.util.Collection; import java.util.Collections; import java.util.Map; import java.util.concurrent.Ex ...
分类：
编程语言 时间：
2021-03-29 12:35:39
阅读次数：
0
场景 项目中接入了阿里云日志服务，比起以前自己搭建的ELK日志体系，云上的服务优点是接入简单，提供了易用的web ui界面方便查询日志。 省了自己搭建日志监控体系，但缺点是完全依赖云服务，没法自己定制，需要仔细阅读文档才能在日常工作更好地运用。 问题 昨天搜索某服务日志时遇到一个问题： 项目里的代码 ...
分类：
其他好文 时间：
2021-03-29 12:09:36
阅读次数：
0
一、概念和基本架构 1.1 kafka介绍 Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。Kafka集群中按照主题分类管理，一个主题可以有多个分区，一个分区可以有多个副本分区。每个记录由一个键，一个值和一个时间戳组成。Kafka只有消息的拉取，没有推送，可以通过轮询实现消息的推送 ...
分类：
其他好文 时间：
2021-03-26 15:32:23
阅读次数：
0
pip install setuptools pip install kafka-python执行以上两个命令就可以安装成功。说明：setuptools是kafka-python的依赖库 ...
分类：
编程语言 时间：
2021-03-17 14:49:03
阅读次数：
0
目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee 正文 回到顶部 一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干 ...
分类：
其他好文 时间：
2021-03-17 14:25:54
阅读次数：
0
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类：
其他好文 时间：
2021-03-17 14:04:41
阅读次数：
0
