Kafka-常用术语(消息、生产者、消费者、集群、broker解释) 消息和批次 kafka的数据单元被称为消息。类似于数据库表中的一行数据。 消息由字节数组组成，所以对于kafka来说，消息里的数据没有特别的格式或含义。 消息可以有一个可选的元数据，也就是键，键也是一个字节数组，当消息以一种可控的 ...
分类：
其他好文 时间：
2020-03-24 21:43:11
阅读次数：
88
工作原因要用到flume来采集日志，简单接触后写下来一些，随更。详细请看官网http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html#a-simple-example flume依赖Java环境，此版本至少要1.7以上的ja ...
分类：
Web程序 时间：
2020-03-24 16:06:45
阅读次数：
115
有时候我们需要监控一些网络上的变化，但是每次去刷新网页却又很麻烦，而且大部分刷新的时候网页并没有更新。那么有没有一个工具，可以监控网页变化，并将变化的结果推送到手机微信上呢？ 这里有很多应用场景，比如前一段时间很火的工具来监控JD、TB等口罩是否有货的状态、还有就是刷票、抢课、监听网页便也变化、爬虫 ...
分类：
微信 时间：
2020-03-24 14:34:19
阅读次数：
120
安装条件： 确保zookeeper已经安装成功。zookeeper安装过程见：上篇，或者https://www.cnblogs.com/expiator/p/9853378.html 1.下载kafka进入Apache官网 http://kafka.apache.org/downloads.html ...
分类：
系统相关 时间：
2020-03-24 10:43:21
阅读次数：
76
简介 canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有: kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/ro ...
分类：
数据库 时间：
2020-03-23 09:54:02
阅读次数：
286
一、logstash结合kafka收集系统日志和nginx日志 架构图： 环境准备： A主机：kibana、elasticsearch，有条件可以将两个服务器分开：192.168.7.100 B主机：logstash主机:192.168.7.101/nginx服务器也在此主机上 C主机：logsta ...
分类：
其他好文 时间：
2020-03-23 09:48:02
阅读次数：
54
一、zookeeper介绍： ZooKeeper是一个分布式且开源的分布式应用程序协调服务。 zookeeper集群特性：整个集群种只要有超过集群数量一半的zookeeper工作只正常的，那么整个集群对外就是可用的，假如有2台服务器做了一个zookeeper集群，只要有任何一台故障或宕机，那么这个z ...
分类：
其他好文 时间：
2020-03-23 09:36:42
阅读次数：
73
SASL/PLAIN 是一种简单的 username/password 认证机制, 通常与 TLS 加密一起使用, 用于实现安全认证. Kafka 提供了一个默认的 SASL/PLAIN 实现, 可以做扩展后在生产环境使用. 1 配置kafka server端（每个broker） JAAS文件作为每 ...
分类：
其他好文 时间：
2020-03-23 00:29:27
阅读次数：
86
查看kafka版本 进入kafka安装目录 ... kafka/libs，看到类似kafka_2.12-2.0.0.jar这样的文件，2.12为scala版本，2.0.0是kafka版本（kafka使用了Scala进行开发）. zookeeper-server-start.sh 参照 kafka环境 ...
分类：
其他好文 时间：
2020-03-22 21:18:26
阅读次数：
86
